Stage m2 vulnérabilités des modèles d'ia générative lors de la phase d'adaptation h/f

Rejoignez-nous en Stage ! En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des équipements de pointe et à des ressources de recherche de premier ordre pour mener à bien vos missions. Description du poste : Nous observons actuellement l'augmentation de la mise à disposition de modèles profonds pré-entrainés (modèles de fondations) qui vont ensuite être adaptés pour la réalisation d'une tache spécifique. Parmi les techniques d'adaptation, deux sont particulièrement intéressantes car elles ne nécessitent pas nécessairement de modifier les paramètres internes du modèle : - RAG (Génération Augmentée par Récupération) permet aux modèles d'IA générative de se référer à une base de connaissances externe afin de générer un contenu mis à jour et spécialisé - In-context learning (apprentissage en contexte) désigne la capacité d'un modèle d'IA générative à apprendre ou à adapter son comportement à partir d'exemples ou d'instructions fournis dans le prompt Bien que l'utilisation de ces usages est en train de se démocratiser dans le monde industriel, il y a encore beaucoup d'incertitudes concernant les risques autour de ces techniques de personnalisation. Le sujet de stage proposé consiste à étudier les menaces liées à l'intégrité lors de l'adaptation de modèles d'IA générative par des techniques de type RAG ou In-context learning. Le stage débutera par une étude bibliographique sur les attaques (notamment les attaques backdoor) contre les systèmes RAG [1;2] et In-context learning [3 ;4]. Les attaques prometteuses seront implémentées et évaluées. Des défenses pourront ensuite être proposées et testées. [1] W. Zou, R. Geng, B. Wang, and J. Jia. PoisonedRAG: Knowledge poisoning attacks to retrieval-augmented generation of large language models'. ArXiv 24. Aug. 2024. [2] H. Chaudhari, G. Severi, J. Abascal, M. Jagielski, C. A. Choquette-Choo, M. Nasr, C. Nita-Rotaru, and A. Oprea. Phantom: General Trigger Attacks on Retrieval Augmented Language Generation'. ArXiv 24. Oct. 2025. [3] N. Kandpal, M. Jagielski, F. Tramer, and N. Carlini. Backdoor Attacks for In-Context Learning with Language Models'. ArXiv 23. Jul. 2023. [4] S. Zhao, M. Jia, L.A. Tuan, F. Pan, and J. Wen. Universal Vulnerabilities in Large Language Models: Backdoor Attacks for In-Context Learning'. ArXiv 24. Oct. 2024.