Ingénieur d'étude en traitement automatique des langues (h/f)

Vos missions en quelques mots Missions : Le cadre général du travail est celui de l’évaluation des grands modèles génératifs (giga modèles de langue ou LLM) multilingues, c'est-à-dire des modèles génératifs qui prennent en charge plus d'une langue. La question principale qui se pose est celle de la mesure du niveau de "multilinguisme" d'un modèle - pour le formuler de manière simple "combien (et quelles) de langues le modèle est-il capable de prendre en charge (et avec quel niveau de qualité)"? Ce travail de réflexion méthodologique s'inscrit dans le cadre du projet européen LLM4EU qui vise à développer des modèles et des cadres d'évaluation pour toutes les langues officielles de l'UE. Contexte scientifique Les outils de traitement des langues s'appuyant sur des grands modèles de langue dits génératifs ont en quelques années atteint des niveaux très élevés de performance pour des tâches complexes. Ils sont aujourd'hui largement présents dans nos environnements numériques de travail pour accéder à l'information, l'analyser, la reformuler, ou encore pour générer des contenus originaux. Avec la large diffusion de ces technologies, l'analyse des performances réelles, des risques et des limitations de ces modèles se pose de manière accrue. Lorsque ces modèles sont multilingues, une dimension de l'évaluation doit concerner le niveau de multilinguisme d'un modèle. Cette évaluation est difficile, faute de pouvoir (en général) accéder directement à partir de l'analyse des données et protocoles d'apprentissage et doit donc être effectuée en "boîte noire" à partir de requêtes soumises à un modèle entraîné. Il existe de multiples tâches et parangons monolingues, surtout pour l'anglais, mais la qualité et variété de ces parangons est très inégalement répartie entre langues. Une seconde difficulté est liée à la nécessité de comparer les performances entre langues: or dans cette comparaison, des facteurs multiples peuvent entrer en ligne de compte, certains liés au modèle, mais d'autres qui sont intrinsèques aux langues considérées. Dans un premier temps, le travail visera à construire des mesures robustes applicables à des modèles qui rendent accessibles les représentations et les distributions de probabilité qui sont manipulées: pour ces modèles nous étudierons la validité de plusieurs métriques inspirées de la théorie de l'information (compression, perplexité), et à les déployer sur une infrastructure ouverte. Dans un second temps, le travail visera à étudier des méthodes pour minimiser les différences entre langues et rendre les métriques plus directement comparables par exemple en utilisant des transcodages "universels" plus équitables entre langues (par translittération, phonétisation, etc.). En parallèle, on s'intéressera à généraliser les métriques proposées pour les modèles ouverts à des modèles fermés. Activités : La personne recrutée travaillera en collaboration avec les membres du laboratoire travaillant sur le trait Voir plus sur le site emploi.cnrs.fr Profil recherché Competences : Nous recherchons une personne hautement motivée: - titulaire d'un diplôme de master ou école d'ingénieur récent en intelligence artificielle avec des compétences en apprentissage profond, traitement automatique des langues, recherche d'information ou traduction automatique. - maitrisant Python et des plateformes d'apprentissage profond et des principaux frameworks pour manipuler des modèles de langue et les algorithmes de génération de textes; - maîtrisant français et anglais scientifique (écrit et oral), un intérêt général pour les langues sera un plus. Contraintes et risques : Travail sur écran, sans autre risque particulier. Niveau d'études minimum requis Niveau Niveau 7 Master/diplômes équivalents Spécialisation Informatique, traitement de l'information, réseau de transmission des données Langues Français Seuil