Stagiaire testeur de failles de sécurité dans chatbot et rag (retrieval augmented generation) f/h

Votre rôle

Dans le cadre de différents comités IA éthique et responsable d’Orange France, nous mettons en œuvre et appliquons des procédés pour s’assurer que les applications d’IA à Orange respectent les régulations sur l’IA, sont conformes à la charte éthique et responsable d’Orange et respecte les exigences de sécurité d’Orange France.

Les tests effectués par les fournisseurs de modèles d’IA Générative (Open AI, Google, Anthropic,…) montrent que ces modèles demeurent très sensibles à de nouvelles formes d’attaques: «les injections de prompt. Des campagnes de test menées par des Red Teams (équipes externes payés pour mener des attaques) à la demande de ces fournisseurs. Le taux de succès de ces attaques menés par des spécialistes ont des seuils très élevés – 50% au bout d’une dizaine d’interaction -.

L’objectif serait:

· de se renseigner sur ces attaques (qui ne sont pas publiées pour des raisons évidentes de sécurité)

· de reproduire avec succès certaines attaques,

· de créer une base de test d’injection de prompts et un démonstrateur qui montre leur principe de fonctionnement et leur efficacité soit sur un chatbot et un RAG créé à cet effet soit sur la recette de chatbot et de RAG d’Orange pour évaluer, le cas échéant, leurs vulnérabilités. Le but de ce démonstrateur est de sensibiliser et accompagner la montée en compétence d’employés Orange sur ces sujets, notamment les experts sécurités qui ne sont pas spécialisés en IA.

Orange déploie un nombre important de cas d’applications (plusieurs centaines) autour de l’IA Générative avec des agents conversationnels ou des architecture RAG; d’où la nécessité d’en savoir plus ces techniques d’injection de prompt.