Description du poste
:
Nous observons actuellement l’augmentation de la mise à disposition de modèles profonds pré-entrainés (modèles de fondations) qui vont ensuite être adaptés pour la réalisation d’une tache spécifique. Parmi les techniques d’adaptation, deux sont particulièrement intéressantes car elles ne nécessitent pas nécessairement de modifier les paramètres internes du modèle :
- RAG (Génération Augmentée par Récupération) permet aux modèles d’IA générative de se référer à une base de connaissances externe afin de générer un contenu mis à jour et spécialisé
- In-context learning (apprentissage en contexte) désigne la capacité d’un modèle d'IA générative à apprendre ou à adapter son comportement à partir d’exemples ou d’instructions fournis dans le prompt
Bien que l'utilisation de ces usages est en train de se démocratiser dans le monde industriel, il y a encore beaucoup d'incertitudes concernant les risques autour de ces techniques de personnalisation. Le sujet de stage proposé consiste à étudier les menaces liées à l'intégrité lors de l’adaptation de modèles d'IA générative par des techniques de type RAG ou In-context learning.
Le stage débutera par une étude bibliographique sur les attaques (notamment les attaques backdoor) contre les systèmes RAG [1;2] et In-context learning [3 ;4]. Les attaques prometteuses seront implémentées et évaluées. Des défenses pourront ensuite être proposées et testées.
[1] W. Zou, R. Geng, B. Wang, and J. Jia. ‘PoisonedRAG: Knowledge poisoning attacks to retrieval-augmented generation of large language models’. ArXiv 2402.07867. Aug. 2024.
[2] H. Chaudhari, G. Severi, J. Abascal, M. Jagielski, C. A. Choquette-Choo, M. Nasr, C. Nita-Rotaru, and A. Oprea. ‘Phantom: General Trigger Attacks on Retrieval Augmented Language Generation’. ArXiv 2405.20485. Oct. 2025.
[3] N. Kandpal, M. Jagielski, F. Tramer, and N. Carlini. ‘Backdoor Attacks for In-Context Learning with Language Models’. ArXiv 2307.14692. Jul. 2023.
[4] S. Zhao, M. Jia, L.A. Tuan, F. Pan, and J. Wen. ‘Universal Vulnerabilities in Large Language Models: Backdoor Attacks for In-Context Learning’. ArXiv 2401.05949. Oct. 2024.
Profil du candidat
Qu’attendons-nous de vous ?
Le stage s’adresse à un(e) étudiant(e) du cycle ingénieur/universitaire cherchant un stage M2 et manifestant l’envie de travailler dans le milieu de la recherche avec un intérêt manifeste pour la cybersécurité des IA. Idéalement, le/la candidat(e) suit actuellement une formation en lien avec le domaine de l’Intelligence Artificielle/Machine Learning. La connaissance des principaux algorithmes d’optimisation, des différents types de modèles ainsi que la maîtrise de Python sont indispensables. Durant le stage, le/la candidat(e) sera en relation directe avec un expert en cybersécurité de l’IA. Nous attendons qu’il/elle soit capable d'apporter sa rigueur, son enthousiasme et sa curiosité pour la recherche. Nous offrons la possibilité à nos stagiaires de participer à la conférence JDSE (Junior conference on Data Science and Engineering) afin de les familiariser avec le déroulement d’une conférence scientifique.
La durée du stage est de 6 mois minimum et sera rémunéré.
Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles !
Vous avez encore un doute ? Nous vous proposons :
1. L'opportunité de travailler au sein d'une organisation de renommée mondiale dans le domaine de la recherche scientifique,
2. Un environnement unique dédié à des projets ambitieux au profit des grands enjeux sociétaux actuels,
3. Une expérience à la pointe de l’innovation, comportant un fort potentiel de développement industriel,
4. Des moyens expérimentaux exceptionnels et un encadrement de qualité,
5. Une participation aux transports en commun à hauteur de 85%,
6. Un équilibre vie privée – vie professionnelle reconnu,
7. Un restaurant d'entreprise,
8. Une politique diversité et inclusion.
Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes handicapées, cet emploi est ouvert à toutes et à tous. Le CEA propose des aménagements et/ou des possibilités d'organisation pour l'inclusion des travailleurs handicapés.
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.