Optimisation d'architecture neuronale post-entraînement pour petit modèles de langage // post-training neural architecture optimization for small language models

Topic description

L’IA générative, et en particulier les modèles de langage (LLM), ont conduit à une nouvelle révolution de l'IA avec des applications dans tous les domaines. Cependant, les LLM sont très gourmands en ressources (énergie, calculs, etc.) et, par conséquent, difficiles à mettre en œuvre sur des systèmes embarqués autonomes. Les LLM peuvent être optimisés en modifiant leur architecture, pour remplacer les opérations de Transformer coûteuses par des alternatives moins coûteuses. Etant donné la difficulté d’entraîner des LLM « from scratch », cette thèse vise à développer des méthodes d’optimisation d’architecture neuronale post-entraînement, applicable à des petits LLM (SLM). De plus, la thèse vise à proposer un modèle de performance des différentes opérations d’un SLM et leurs alternatives, afin de guider le remplacement des opérations, et ainsi proposer une méthodologie complète d’optimisation de SLM en prenant en compte les contraintes matérielles. Le travail sera valorisé par des publications dans des conférences et journaux de rang majeur en IA, et les codes et méthodes développés pourront être intégrés dans les outils développés au CEA.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Generative AI, and particularly language models (LLM), have sparked a new revolution in AI with applications across all domains. However, LLMs are highly resource-intensive and, hence, difficult to implement on autonomous embedded systems. LLMs can be optimized by modifying their architecture to replace heavy Transformer layers with lighter alternatives. Given the difficulty of training LLM "from scratch," this thesis aims to develop post-training neural architecture optimization methods applicable to small LLM (SLM). Additionally, the thesis seeks to propose performance metrics of different layers of an SLM and their alternatives, to guide the replacement, and thus propose a comprehensive methodology for optimizing SLMs while considering hardware constraints. The work will be valorized through publications in major AI conferences and journals, and the developed codes and methods could be integrated into the tools developed at CEA.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Pôle fr : Direction de la Recherche Technologique
Pôle en : Technological Research
Département : Département Systèmes et Circuits Intégrés Numériques (LIST)
Service : DSCIN
Laboratoire : Laboratoire Intelligence Intégrée Multi-capteurs
Date de début souhaitée : 01-10-
URL :
URL :

Funding category

Public/private mixed funding

Funding further details