Stage - génération de données synthétiques pour l'evaluation et l'amélioration des systèmes rag f-h

Job Description

Safran est un groupe international de haute technologie, leader mondial dans les domaines de l'Aéronautique, de l'Espace, de la Défense et de la Sécurité. Au sein du centre de R&T du groupe (Safran Tech), l'Unité de Recherche Maths & Algorithms for Temporal Data (MATD) développe des méthodes innovantes en collaboration avec des partenaires académiques, dans des domaines tels que les Grands Modèles de Langage (Large Language Models, LLMs).
Pour améliorer la qualité des réponses et adapter le modèle à des connaissances spécifiques, l'approche Retrieval-Augmented Generation (RAG) consiste à coupler un ou plusieurs LLMs avec une base de données externe [1]. Cette méthode présente l'avantage d'augmenter les connaissances du LLM avec des données régulièrement mises à jour et potentiellement confidentielles qui n'ont pas été intégrées lors du pré-entraînement ou du fine-tuning. Cette approche facilite également l'accès aux informations internes par l'identification et l'extraction d'informations pertinentes. Cependant, l'amélioration (via fine-tuning) et l'évaluation rigoureuse de ces solutions restent un défi majeur, notamment en raison de la diversité des cas d'application et de données labélisées adaptés à ces différents cas d'usage.

Problématique
L'amélioration et l'évaluation des systèmes RAG nécessite des jeux de données représentatifs des tâches et domaines d'application ciblés. Cependant, la plupart des jeux de données publics sont génériques et inadaptés aux cas d'usage industriels spécifiques, comme ceux rencontrés chez Safran. Les jeux de données spécialement conçus pour le secteur aéronautique demeurent particulièrement rares et se cantonnent généralement à des tâches très spécialisées. Par ailleurs, la création et l'annotation manuelle de jeux de données par des experts humains s'avèrent particulièrement coûteuses et chronophages. Une approche prometteuse consiste à générer des jeux de données synthétiques adaptés aux cas d'usage spécifiques en exploitant les capacités des LLMs.

Job Requirements

•Niveau d'étude : Master universitaire, Diplôme d'Ingénieur ou équivalent avec formations en Machine Learning, Natural Langage Processing (NLP), Large Language Models (LLMs), Mathématiques ou dans un domaine technique pertinent.
•Solides compétences en programmation Python.
•Familiarité avec un ou plusieurs frameworks d'apprentissage profond (Transformers, Pytorch, Tensorflow, etc).
•Une première expérience recherche dans le NLP et les LLMs serait un plus.

But what else? (advantages, specific features, etc.)

Unité d'Accueil : Unité MATD, Safran Tech, Rue des jeunes Bois, 78117 Châteaufort.
Début souhaité : adaptable au profil

Company Information

Safran is an international high-technology group, operating in the aviation (propulsion, equipment and interiors), defense and space markets. Its core purpose is to contribute to a safer, more sustainable world, where air transport is more environmentally friendly, comfortable and accessible. Safran has a global presence, with 100,000 employees and sales of 27.3 billion euros in 2024, and holds, alone or in partnership, world or regional leadership positions in its core markets.

Safran is in the 2nd place in the aerospace and defense industry in TIME magazine's "World's best companies 2024" ranking.

Because we are convinced that each talent counts, we value and encourage applications from people with disabilities for our job opportunities.