LECTRA SA Nous sommes à la recherche de notre nouvel(le) Ingénieur(e) senior d'automatisation de tests H/F spécialisé dans la gestion de la qualité d'assistants s'appuyant sur l'Intelligence Artificielle, tels que des applications RAG (Retrieval-Augmented Generation), des chatbots basés sur des LLMs (Large Language Models), et d'autres solutions conversationnelles avancées
Nos équipes de R&D sont engagées dans la création d'assistants IA capables de traiter une variété de contenus, allant des données métiers aux documents d'entreprise pour simplifier l'utilisation de nos solutions à nos clients. Nos applications doivent évoluer avec les besoins de nos utilisateurs, ce qui nous amène à adopter une architecture flexible pour changer facilement de modèles de langage (LLM) sous-jacents. Dans cet environnement dynamique, nous valorisons l'exploration, la créativité et l'innovation.
Pour réussir dans ce poste, vous devrez faire preuve de curiosité et d'une volonté d'explorer de nouveaux outils et pratiques. Votre capacité à structurer l'analyse des résultats et à prendre des décisions sera essentielle pour mener à bien vos missions. Vous devrez également apprécier le travail collaboratif et être disposé à partager vos connaissances et à apprendre de vos collègues
Missions
- Concevoir et mettre en oeuvre des stratégies de test innovantes pour nos assistants IA, intégrant des pratiques innovantes et des outils adaptés
- Définir et appliquer des méthodes d'évaluation spécifiques aux modèles LLM : détection d'hallucinations, robustesse des prompts, évaluation de la cohérence et de la fidélité des réponses.
- Effectuer une veille technologique active pour identifier les nouveaux outils et méthodes qui pourraient optimiser nos processus
- Développer des scénarios de tests automatisés et manuels, en tenant compte des divers cas d'utilisation et des caractéristiques des utilisateurs
- Analyser les résultats des tests de manière structurée et claire, et formuler des recommandations basées sur des données probantes
- Diffuser les pratiques et connaissances
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.