Votre rôle
Les données issues des logs et des systèmes d’information d’Orange présentent des caractéristiques très particulières : Elles sont le plus souvent temporelles et multi-tables. Elles présentent aussi beaucoup de redondance (certains mots clés ou codes apparaissant très fréquemment dans les logs), mais elles opèrent sur de longues fenêtres temporelles.
Les transformers classiques ont montré leur efficacité dans bien des domaines, mais ils ne sont pas forcément adaptés à ce type de données.
Ce stage vise à développer, adapter et évaluer des modèles de fondation (pretraining et fine-tuning) sur des données temporelles et multi-tables issues de cas d’utilisation Orange.
Il s’agira :
- D’adapter les modèles déjà développés dans l’équipe vial’ajout:
-- de transformers linéaires ou hiérarchiques pour traiter efficacement des données temporelles longues
-- d’encodages positionnels et de masquages spécifiques pour traiter efficacement des données multi-tables.
- De mettre en œuvre des stratégies de pré-entraînement (pretraining) sur des logs et données temporelles pour apprendre des représentations générales.
- D’évaluer ces modèles sur des tâches supervisées (classification, détection d’anomalies, etc.) en réalisant du fine-tuning.
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.