Phd 'adaptive compact language models for private embedded ai' f/h

Les grands modèles de langage actuels, bien que performants, sont trop gourmands en ressources pour une utilisation locale à la fois personnalisée et respectueuse de la vie privée ou de contraintes sur les données manipulées Des modèles de langage compacts, dits aussi Small Language Models sont apparus et peuvent eux fonctionner sur PC ou Mobiles. Depuis 2025 leurs performances se sont nettement accrues (sortie de SLM tels que Qwen 3.5, Gemma 4, Phi 4, Ministral 3) [1- 5], mais ces modèles, comme les LLM, ne peuvent pas apprendre après déploiement. L'objectif est de proposer de nouvelles techniques efficaces qui permettent un apprentissage continu et une personnalisation dynamique et respectueuse de la vie privée sur des SLM. Cet objectif devra aussi être validé par des prototypages applications concrètes, en ouvrant la voie à une IA embarquée personnalisée, performante et totalement autonome. Objectif scientifique - résultats et verrous à lever : Etudier et concevoir des mécanismes d'apprentissage permettant à un modèle de langage de capacité bornée (tel qu'un SLM) de maintenir des invariants internes - c'est-à-dire principalement de préserver le noyau de ses compétences acquises (linguistique, factuelles, schéma de raisonnement ou d'interaction) sans subir d'oubli catastrophique - tout en intégrant progressivement de nouvelles informations issues d'un environnement non stationnaire, principalement liées à des besoins de personnalisation et d'adaptation. Verrous/défis principaux : · Apprentissage continu efficace, malgré les fortes contraintes de calcul et de mémoire des dispositifs embarqués · Prévention du " Catastrophic Forgetting ", tout en maintenant des performances d'apprentissage de la nouveauté · Adaptation locale robuste sans dérive comportementale ni perte de fiabilité, face à des données bruitées Réf 1. WANG, Fali, ZHANG, Zhiwei, ZHANG, Xianren, et al. A comprehensive survey of small language models in the era of large language models:. ACM Transactions on Intelligent Systems and Technology, 2024. 2. SHI, Haizhou, XU, Zihao, WANG, Hengyi, et al. Continual learning of large language models: A comprehensive survey. ACM Computing Surveys, 2024. 3. GU, Albert et DAO, Tri. Mamba: Linear-time sequence modeling with selective state spaces. In : First conference on language modeling. 2024. Compétences (scientifiques et techniques) et qualités personnelles exigées par le poste Vous avez de solides connaissances en Machine Learning / Deep Learning / Data Science. Vous êtes passionnés par ces domaines, et vous êtes curieux, rigoureux et méthodique. Vous avez un intérêt pour la Recherche et l'Innovation. Vous avez un bon niveau en anglais, et vous lisez couramment l'anglais technique. Formation demandée (master, diplôme d'ingénieur, doctorat, domaine scientifique et technique ) Impératif : Vous avez un Master ou un diplôme équivalent dans l'un ou plusieurs des domaines suivants : Machine Learning / Data Science / IA. Expériences souhaitées (stages, ) Expériences sur des environnements de Deep Learning impératifs. Expériences significatives en développement appréciées, notamment dans les systèmes contraints (Mobiles, systèmes embarqués) Une première expérience en recherche (stage dans ce domaine, voire article publié) sera un plus. L'ambition de la Division Innovation est de porter plus loin l'innovation d'Orange et de renforcer son leadership technologique, en mobilisant nos capacités de recherche pour nourrir une innovation responsable au service de l'humain, éclairer les choix stratégiques du Groupe à long terme et influencer l'écosystème digital mondial. Nous formons les expertes et les experts des technologies d'aujourd'hui et de demain, et veillons à une amélioration continue de la performance de nos services et de notre efficacité. La division Innovation rassemble, dans le monde, 6000 salariés dédiés à la recherche et l'innovation dont 740 chercheurs. Porteurs d'une vision globale avec une grande diversité de profils (chercheurs, ingénieurs, designers, développeurs, data scientists, sociologues, graphistes, marketeurs, experts en cybersécurité), les femmes et les hommes de Innovation sont à l'écoute et au service des pays, des régions et des business units pour faire d'Orange un opérateur multiservices de confiance. « Au sein d'Orange Innovation, vous serez intégré(e) dans l'équipe DIESE/DIA/PROF à Orange Labs Lannion : Constituée d'une vingtaine d'Ingénieurs de Recherche, cette équipe est spécialisée depuis une vingtaine d'années dans le domaine de l'Apprentissage Artificiel (Machine Learning et Data Mining) et propose de l'expertise et des outils à l'ensemble du groupe Orange