Thèse « adaptation continue de modèles de langage-compacts pour l'ia embarquée privée » f/h

Date de publication : May 29, 2026, 3:09PM

Votre rôleest d’effectuer un travail de thèse surl’«Adaptation Continue de Modèles de Langage-Compacts pour l'IA Embarquée Privée»

Contexte global et problématique du sujet:


Les grands modèles de langage actuels (LLM), bien que performants, sont trop gourmands en ressources pour une utilisation locale à la fois personnalisée et respectueuse de la vie privée ou de contraintes sur les données manipulées (données non partageables dans le Cloud).

Des modèles de langage compacts, dits aussi Small Language Models (SLM) sont apparus et peuvent eux fonctionner sur PC ou Mobiles. Depuis 2025 leurs performances se sont nettement accrues (sortie de SLM tels que Qwen 3.5, Gemma 4, Phi 4, Ministral 3…) [1- 5], mais ces modèles, comme les LLM, ne peuvent pas apprendre après déploiement.

L'objectif est d’étudier et de proposer de nouvelles techniques efficaces qui permettent un apprentissage continu et une personnalisation dynamique et respectueuse de la vie privée sur des SLM.

Cet objectif devra aussi être validé par des prototypages applications concrètes, en ouvrant la voie à une IA embarquée personnalisée, performante et totalement autonome.

Objectif scientifique – résultats et verrous à lever:

Etudier et concevoir des mécanismes d’apprentissage permettant à un modèle de langage de capacité bornée (tel qu’un SLM) de maintenir des invariants internes — c’est-à-dire principalement de préserver le noyau de ses compétences acquises (linguistique, factuelles, schéma de raisonnement ou d’interaction) sans subir d’oubli catastrophique — tout en intégrant progressivement de nouvelles informations issues d’un environnement non stationnaire, principalement liées à des besoins de personnalisation et d’adaptation.

Verrous/défis principaux :

· Apprentissage continu efficace, malgré les fortes contraintes de calcul et de mémoire des dispositifs embarqués

· Prévention du «Catastrophic Forgetting», tout en maintenant des performances d’apprentissage de la nouveauté

· Adaptation locale robuste sans dérive comportementale ni perte de fiabilité, face à des données bruitées

Références

1. WANG, Fali, ZHANG, Zhiwei, ZHANG, Xianren, et al. A comprehensive survey of small language models in the era of large language models:. ACM Transactions on Intelligent Systems and Technology, 2024.

2. SHI, Haizhou, XU, Zihao, WANG, Hengyi, et al. Continual learning of large language models: A comprehensive survey. ACM Computing Surveys, 2024.

3. GU, Albert et DAO, Tri. Mamba: Linear-time sequence modeling with selective state spaces. In : First conference on language modeling. 2024.

4. PEUZET, Hugo, KUNTZ, Pascale, MEYER, Frank, LEMAIRE, Vincent, LE MAU, Killian : Operational Evaluation of Algorithms for Online Streaming Continual Multi-Label Classification. DSAA 2025: 1-10

Compétences (scientifiques et techniques) et qualités personnelles exigées par le poste

Vous avez de solides connaissances en Machine Learning / Deep Learning / Data Science.

Vous êtes passionnés par ces domaines, et vous êtes curieux, rigoureux et méthodique. Vous avez un intérêt pour la Recherche et l’Innovation.

Vous avez un bon niveau en anglais, et vous lisez couramment l’anglais technique.

Formation demandée(master, diplôme d’ingénieur, doctorat, domaine scientifique et technique …)

Impératif: Vous avez un Master ou un diplôme équivalent dans l’un ou plusieurs des domaines suivants: Machine Learning / Data Science / IA.

Expériences souhaitées(stages, …)

Expériences sur des environnements de Deep Learning impératifs.

Expériences significatives en développement appréciées, notamment dans les systèmes contraints (Mobiles, systèmes embarqués...)

Une première expérience en recherche (stage dans ce domaine, voire article publié) sera un plus.

Qu’est ce qui fait la valeur ajoutée de cette offre ?

Ce projet présente des enjeux importants. Il doit permettre à terme de disposer de briques d’IA utilisables localement, compatibles avec les contraintes RGPD, pour des services tels que ceux liés à l’intelligence ambiante (utilisant des données du poste personnel ou de l’habitation) ou pour des systèmes de lutte contre le cyberharcèlement sur Smartphone par exemple.

Ce sujet très porteur permet d’envisager ensuite une évolution vers les métiers de la recherche en intelligence artificielle, les métiers autour de la data-science, etc.

Vous travaillerez dans un grand centre de recherche international, avec des moyens techniques conséquents utilisables.

Poste à Lannion (Côtes d’Armor).

L’ambition de la Division Innovation est de porter plus loin l’innovation d’Orange et de renforcer son leadership technologique, en mobilisant nos capacités de recherche pour nourrir une innovation responsable au service de l’humain, éclairer les choix stratégiques du Groupe à long terme et influencer l’écosystème digital mondial.
Nous formons les expertes et les experts des technologies d’aujourd’hui et de demain, et veillons à une amélioration continue de la performance de nos services et de notre efficacité. La division Innovation rassemble, dans le monde, 6000 salariés dédiés à la recherche et l’innovation dont 740 chercheurs. Porteurs d’une vision globale avec une grande diversité de profils (chercheurs, ingénieurs, designers, développeurs, data scientists, sociologues, graphistes, marketeurs, experts en cybersécurité…), les femmes et les hommes de Innovation sont à l’écoute et au service des pays, des régions et des business units pour faire d’Orange un opérateur multiservices de confiance.

« Au sein d’Orange Innovation, vous serez intégré(e) dans l'équipe DIESE/DIA/PROF à Orange Labs Lannion : Constituée d'une vingtaine d'Ingénieurs de Recherche, cette équipe est spécialisée depuis une vingtaine d'années dans le domaine de l'Apprentissage Artificiel (Machine Learning et Data Mining) et propose de l'expertise et des outils à l'ensemble du groupe Orange.

Chez Orange, seules vos compétences comptent.

Quel que soit votre âge, genre, origine, parcours, religion, orientation sexuelle, handicap, neuroatypie, ou apparence, nous encourageons activement la diversité au sein de nos équipes, car elle constitue une force pour le collectif et un vecteur d’innovation.
Orange est une entreprise handi-accueillante : n’hésitez pas à nous faire part de vos besoins spécifiques.