Évaluation de grands modèles de langue en santé (h/f)

Vos missions en quelques mots Missions : Dans le cadre du projet collaboratif PARTAGES financé par la BPI, il s'agit de concevoir et coordonner l'évaluation de grands modèles de langue en santé et de l'application de ces modèles à sept cas d'usage en santé. Cela inclut notamment la définition des éléments constitutifs des protocoles d'évaluation, la définition des dimensions de comparaison des modèles, la mise en place d’un protocole d’évaluation de modèles de fondation, la définition des protocoles d'évaluation pour chaque cas d'usage en fonction du type de cas et de son cadre d'application, la mise en application des protocoles spécifiques pour l’évaluation des cas d'usage et des modèles de fondation, et le suivi des résultats des évaluations des algorithmes de chaque cas d’usage et des modèles de fondation. Ces dernières tâches notamment impliqueront une forte interaction avec les partenaires responsables du développement des modèles de langue et des partenaires responsables des cas d'usage, l'organisation d'évaluations similaires à des campagnes d'évaluation, l'organisation d'ateliers de restitution de ces évaluations. Les méthodes et les résultats feront l'objet d'une documentation qui a vocation à être publique et de publications dans les conférences ou revues pertinentes du domaine. Activités : Dans le contexte de l'évaluation de systèmes de traitement automatique des langues (TAL) du projet PARTAGES, principalement à base de méthodes neuronales, qui seront appliqués au domaine médical : - conception et mise en œuvre de méthodes à l'état de l'art pour l'évaluation de systèmes de TAL, - pilotage de l'activité d'évaluation des partenaires du projet, - planification et conduite de réunions, - participation à des réunions, - création et implémentation de protocoles d'évaluation, - analyse des résultats d'évaluations, - rédaction de rapports, guides, publications. Contexte de travail : Le laboratoire LISN https://www.lisn.upsaclay.fr/ Le Laboratoire Interdisciplinaire des Sciences du Numérique (LISN) est une Unité Mixte de Recherche (UMR 9015) créé le 1er janvier 2021 grâce à la coopération des équipes de recherche du LIMSI et du LRI. Ses tutelles sont le CNRS, l’Université Paris-Saclay, l’INRIA et CentraleSupélec. Composé de près de 400 personnes, ses domaines de recherche couvrent d’une part des thématiques cœurs des sciences du numérique et des sciences de l’ingénieur, et d’autre part des thématiques interdisciplinaires par nature : intelligence artificielle et science des données, interaction humain-machine, traitement automatique des langues et de la parole, et bio-informatique. Les activités de recherche sont organisées en 5 départements, 5 actions transversales et 16 équipes de recherche. 5 équipes de soutien et support à la recherche assurent le bon fonctionnement du laboratoire. Les travaux prendront place au sein de l'équipe SEME du département Sciences et Technologies des Langues. Le projet PARTAGES https Voir plus sur le site emploi.cnrs.fr Profil recherché Competences : - Thèse en traitement automatique des langues ayant mobilisé de l'apprentissage automatique, - maîtrise des méthodes et outils de TAL et d'apprentissage automatique, y compris neuronaux, - maîtrise des mesures et protocoles d'évaluation du TAL, - expérience de projets de recherche collaboratifs, - goût du travail en équipe, - facilité de contact avec les équipes extérieures, - maîtrise des temps et ponctualité dans les livrables, - aisance en français et en anglais technique. Contraintes et risques : - travail sur écran Niveau d'études minimum requis Niveau Niveau 8 Doctorat/diplômes équivalents Spécialisation Formations générales Langues Français Seuil