Stage: amélioration de la qualité des annotations par détection et correction d’erreurs à l’aide de grands modèles de langage (llm)

Contexte et atouts du poste

Le ou la stagiaire travaillera au sein d’Inria Défense & Sécurité, créé en 2020 pour fédérer les actions d’Inria répondant aux besoins numériques des forces armées et du ministère de l’Intérieur.

Le stage se déroulera au sein du pôle Données, sous la direction de Pauline Soutrenon et de Lucie Bader (ingénieures TAL/NLP).

Ce stage s’inscrit dans la continuité de travaux menés au sein du pôle Données sur l’annotation automatique et l’augmentation de données à l’aide de grands modèles de langage (LLM). Ces travaux ont permis d’obtenir des résultats prometteurs, mais ont également mis en lumière certaines limites, telles que des phénomènes de sur-annotation ou des incohérences dans les annotations.

Dans ce contexte, la qualité des annotations, qu’elles soient manuelles ou générées automatiquement, reste un enjeu central pour garantir la fiabilité des modèles. Ces annotations, qui peuvent inclure des étiquettes de catégories, des entités nommées ou des relations syntaxiques sont essentielles pour permettre aux modèles de capturer les subtilités du langage humain.

Le manque de données annotées de qualité, surtout dans les domaines spécialisés comme la défense ou pour les langues peu dotées, constitue une problématique majeure dans le domaine du TAL. L’émergence des Grands Modèles de Langage (LLM), tels que GPT, LLaMA ou Mistral, offre aujourd’hui l’opportunité de compléter le travail des annotateurs humains grâce à des méthodes de prompt engineering adaptées.

Le stage s’appuiera sur des données textuelles relevant de thématiques d’intérêt défense, issues de corpus publics (comme le corpus POPCORN). Ces corpus sont annotés à la fois en entités nommées et en relations sémantiques d’intérêt, ce qui en fait une ressource rare et précieuse pour l’entraînement et l’évaluation de modèles d’apprentissage automatique.

L’objectif principal de ce stage est d’explorer l’utilisation des LLM pour détecter et corriger automatiquement les erreurs et incohérences présentes dans des corpus annotés. L’accent sera mis sur des annotations réalisées manuellement, souvent considérées comme une référence mais sujettes à des biais ou des erreurs humaines. Dans un second temps, des données pourront éventuellement être générées automatiquement de manière à voir si les LLM sont plus performants sur de l’annotation ou de la détection/correction d’annotations.

Le/la stagiaire s’appuiera sur des LLM pour proposer une approche semi-automatique de validation des annotations. Il s’agira notamment de concevoir des prompts pour détecter les incohérences entre les données, les annotations et les consignes d’annotation. Un pipeline de correction automatique ou assistée sera ensuite développé. Enfin, une évaluation de la qualité des données ainsi corrigées, en les comparant aux jeux de données manuels initiaux et à ceux produits par des LLM permettra de mesurer les apports réels de cette démarche, à travers des métriques quantitatives et une analyse qualitative

Mission confiée

Le ou la stagiaire travaillera sur la détection et la correction d’incohérences ou d’erreurs dans desannotations(entité et relations).La mission s’articulera en plusieurs étapes successives.

Dans un premier temps, il s’agira de se familiariser avec les données disponibles, le guide d’annotation ainsi que les travaux déjà réalisés. Cette phase inclura également une partie état de l’art ainsi qu’une exploration comparative des différents LLM afin d’identifier le(s) plus adapté(s) à la tâche.

Le cœur de la mission consistera ensuite à concevoir une stratégie de validation semiautomatique des annotations (conception de prompt et mise en place d’une chaîne de traitement prenant en compte le traitement et le formatage des réponses générées par le modèle) ainsi qu’un pipeline de correction automatique ou semi-automatique.

À partir des données corrigées, une première évaluation sera réalisée sur les annotations manuelles afin de quantifier l’apport d’une telle approche. Une seconde évaluation pourra éventuellement être réalisée sur des annotations générées automatiquement par le ou la stagiaire (à partir de travaux réalisés précédemment). Il s’agira ici de se demander si les LLM sont plus performants pour annoter des données ou plutôt pour les corriger.

Principales activités

1. Analyser les besoins et se familiariser avec les données
2. État de l’art sur l’utilisation de LLM pour une telle tâche
3. Tester et sélectionner le LLM le plus pertinent ainsi que la méthode de prompt engineering la plus adaptée
4. Concevoir une stratégie de validation semi-automatique des annotations
5. Mettre en place un pipeline dédié à la correction des annotations
6. Évaluer l’apport d’une telle approche sur des données annotées manuellement (et éventuellement sur des données générées automatiquement)
7. Identifier les atouts et limites du LLM et de la stratégie
8. Documenter et présenter les résultats

Compétences

Compétences requises

9. Maîtrise du français écrit et parlé
10. Connaissances solides en TAL et en linguistique
11. Bonnes compétences enPython
12. Connaissance des grands modèles de langage (LLM) et de leur mise en œuvre (idéalement via des plateformes comme Ollama)
13. Capacité à concevoir et évaluer des prompts, et à mettre en place une chaîne de traitement automatisée

Compétences facultatives

14. Expérience avec des outils d’annotation (Label Studio, Doccano)
15. Expérience avec le logiciel de gestion de version Git
16. Connaissance de la plateforme Ollama
17. Connaissance du langage de programmation Bash et du système d’exploitation Linux

Avantages

18. 15 jours de congés pour 6 mois de stage
19. Télétravail possible après 2 mois d’ancienneté (jusqu’à deux jours par semaine)
20. Restauration subventionnée
21. Transports publics remboursés partiellement
22. Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
23. Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d’Inria)

Rémunération

4.35€ /h