Stage testeur de failles de sécurité dans chatbot et rag f/h

Le domaine SI Data IA de la DSI d'orange France est en charge de déploiements de données et d'applications d'IA sur des Clouds Publics. Il fournit des outils d'industrilalisation sécurisée de ces applications.
Dans le domaine de l'IA, Data IA opère notamment un proxy d'accès sécurisé à des modèles LLM (Large Language Models) d'IA Génératives comme par exemple GPT, Gemini, Claude. Data IA développe et opère également des solutions de RAG (retrieval-augmented generation, génération augmentée de récupération) pour interroger des bases d'information propre à l'entreprise.
Dans ce Domaine SI, le département « Département Anticipation et Animation des expertises data-IA » a un rôle d'expertise, de formation et d'anticipation, notamment sur les sujets d'IA Générative et d'IA Ethique et Responsable.


Dans le cadre de différents comités IA éthique et responsable d'Orange France, nous mettons en oeuvre et appliquons des procédés pour s'assurer que les applications d'IA à Orange respectent les régulations sur l'IA, sont conformes à la charte éthique et responsable d'Orange et respecte les exigences de sécurité d'Orange France.
Les tests effectués par les fournisseurs de modèles d'IA Générative (Open AI, Google, Anthropic,...) montrent que ces modèles demeurent très sensibles à de nouvelles formes d'attaques : " les injections de prompt. Des campagnes de test menées par des Red Teams (équipes externes payés pour mener des attaques) à la demande de ces fournisseurs. Le taux de succès de ces attaques menés par des spécialistes ont des seuils très élevés - 50% au bout d'une dizaine d'interaction -.
L'objectif serait :
· de se renseigner sur ces attaques (qui ne sont pas publiées pour des raisons évidentes de sécurité)
· de reproduire avec succès certaines attaques,
· de créer une base de test d'injection de prompts et un démonstrateur qui montre leur principe de fonctionnement et leur efficacité soit sur un chatbot et un RAG créé à cet effet soit sur la recette de chatbot et de RAG d'Orange pour évaluer, le cas échéant, leurs vulnérabilités. Le but de ce démonstrateur est de sensibiliser et accompagner la montée en compétence d'employés Orange sur ces sujets, notamment les experts sécurités qui ne sont pas spécialisés en IA.
Orange déploie un nombre important de cas d'applications (plusieurs centaines) autour de l'IA Générative avec des agents conversationnels ou des architecture RAG ; d'où la nécessité d'en savoir plus ces techniques d'injection de prompt.\n\nVous êtes en école d'ingénieur ou master dans le domaine de l'informatique avec une spécialisation en IA.
Vous êtes formés sur les traitements NLP (langage naturel), les applications de Chatbot
Vous maîtrisez les différentes techniques d'apprentissage
Vous connaissez les méthodes d'évaluation de fiabilité classique des modèles d'apprentissage
Vous êtes curieux et proactif, avec une capacité d'analyse et esprit d'équipe.
Anglais