Phd “mechanistic interpretability from llm usage logs" f/h

Date de publication : May 13, 2026, 9:50AM

Votre rôleest d’effectuer un travail de thèse sur l'« interprétabilité mécanistique appliquée aux logs d’usage de grands modèles de langue (LLMs) ».


Contexte et Problématique

L’interprétabilité mécanistique vise à comprendre le fonctionnement interne des modèles de machine learning, notamment des LLMs, en étudiant la circulation de l’information dans leurs couches. Elle peut permettre d’optimiser le fine-tuning, limiter les interférences lors de l’adaptation ou de la fusion de modèles, et améliorer la compression tout en conservant des capacités. La thèse propose de passer d’une approche centrée sur des tâches en laboratoire à une analyse basée sur les usages réels, en utilisant des logs d’usage variés. La problématique est alors que les tâches ne sont pas clairement identifiables, ni forcément séparables dans les données.

Objectifs, verrous et Résultats attendus

L’objectif est d’identifier les circuits activés à partir de traces d’usage, d’évaluer la robustesse et la fidélité des méthodes employées, d’étudier le lien entre activation observée et rôle causal réel dans le comportement du modèle, et de proposer un pipeline expérimental robuste pour analyser les usages de LLMs à partir de données réelles. Les principaux verrous sont le coût computationnel élevé de ces approches, la fragilité de certaines métriques et protocoles, la difficulté à distinguer corrélation et causalité, la caractérisation des usages à partir des logs, ainsi que la transférabilité des analyses depuis des tâches simples vers des usages réels. Les résultats attendus sont une formalisation expérimentale rigoureuse, un pipeline de cartographie de circuits, une comparaison de méthodes récentes, ainsi que des enseignements exploitables pour le fine-tuning, la sélection de modèles et l’optimisation des usages industriels.

Références

Miller et al. Transformer circuit faithfulness metrics are not robust
Zhang & Nanda. Towards Best Practices of Activation Patching in Language Models: Metrics and Methods
Wang et al. Towards Understanding Fine-Tuning Mechanisms of LLMs via Circuit Analysis
Basu et al. On Mechanistic Circuits for Extractive Question-Answering
Hanna et al. Have Faith in Faithfulness: Going Beyond Circuit Overlap When Finding Model Mechanisms
Conmy et al. Towards automated circuit discovery for mechanistic interpretability
Zhang et al. EAPGP: Mitigating Saturation Effect in Gradient-based Automated Circuit Identification
Lee et al. Open Problems in Mechanistic Interpretability
Sengupta et al. Interpretability as Alignment: Making Internal Understanding a Design Principle
Gu et al. Discovering Transformer Circuits via a Hybrid Attribution and Pruning Framework.
Du et al. How Post-Training Reshapes LLMs: A Mechanistic View on Knowledge, Truthfulness, Refusal, and Confidence

Compétences (scientifiques et techniques) et qualités personnelles exigées par le poste

* Scientifiques et techniques
o Solide formation en mathématiques appliquées, probabilités/statistiques et optimisation.
o Maîtrise de Python et des librairies de data science (NumPy, PyTorch...).
o Connaissances en apprentissage automatique et deep learning.
* Qualités personnelles
o Intérêt pour la recherche appliquée et la validation expérimentale.
o Curiosité scientifique, rigueur et autonomie.
o Goût pour le travail en équipe et la communication de résultats.
o Esprit d’initiative et capacité d’adaptation à des problématiques complexes.
o Bonnes capacités communicationnelles (prise de parole, rédaction, anglais)

Formation demandée(master, diplôme d’ingénieur, doctorat, domaine scientifique et technique …)

* Master 2 ou école d’ingénieur en informatique ou mathématiques appliquées

Expériences souhaitées(stages, …)

* Idéalement, un stage dans un environnement de recherche en machine learning

Cette thèse se situe au cœur des enjeux actuels de l’IA générative : comprendre, maîtriser et rendre plus efficaces les grands modèles de langue.

Elle présente plusieurs intérêts majeurs :

* un sujet de recherche innovant, à l’intersection de l’interprétabilité, des LLMs et de l’analyse d’usages réels ;
* un fort potentiel de publication dans les meilleures conférences et workshops en IA/NLP/ML ;
* un positionnement original par rapport à l’état de l’art, en passant de l’analyse mécanistique sur tâches contrôlées à l’analyse mécanistique sur logs d’usage ;
* un ancrage industriel fort, avec des retombées possibles sur l’optimisation du fine-tuning, de l’inférence, de la combinaison de modèles et de l’usage responsable de l’IA générative ;
* un écosystème de recherche riche, en lien avec les travaux internes Orange sur les LLMs, ainsi que des collaborations académiques et des projets nationaux et européens.

L’ambition de la Division Innovation est de porter plus loin l’innovation d’Orange et de renforcer son leadership technologique, en mobilisant nos capacités de recherche pour nourrir une innovation responsable au service de l’humain, éclairer les choix stratégiques du Groupe à long terme et influencer l’écosystème digital mondial.
Nous formons les expertes et les experts des technologies d’aujourd’hui et de demain, et veillons à une amélioration continue de la performance de nos services et de notre efficacité. La division Innovation rassemble, dans le monde, 6000 salariés dédiés à la recherche et l’innovation dont 740 chercheurs. Porteurs d’une vision globale avec une grande diversité de profils (chercheurs, ingénieurs, designers, développeurs, data scientists, sociologues, graphistes, marketeurs, experts en cybersécurité…), les femmes et les hommes de Innovation sont à l’écoute et au service des pays, des régions et des business units pour faire d’Orange un opérateur multiservices de confiance.

Au sein d’Innovation, vous serez intégré(e) à deux équipes de recherche à la pointe spécialisées en traitement automatique des langues. Vous bénéficierez d’un environnement stimulant : présence de nombreux chercheurs, doctorants et data scientists ; connexions avec des problématiques applicatives stratégiques du Groupe ; disponibilité d’infrastructures de calcul ; collaborations académiques et projets européens.

Chez Orange, seules vos compétences comptent.

Quel que soit votre âge, genre, origine, parcours, religion, orientation sexuelle, handicap, neuroatypie, ou apparence, nous encourageons activement la diversité au sein de nos équipes, car elle constitue une force pour le collectif et un vecteur d’innovation.
Orange est une entreprise handi-accueillante : n’hésitez pas à nous faire part de vos besoins spécifiques.