Senior test automation engineer for ai assistants / ingénieur qa pour assistant ia h / f

Senior Test Automation Engineer for AI assistants / Ingénieur QA pour assistant IA H / F

Rejoignez l’aventure Lectra ! Prenez part à une véritable aventure technologique et contribuez avec Lectra à faire évoluer notre société et nos industries grâce à la puissance de l’industrie Logiciels, équipements, données et services… Lectra est un acteur majeur sur les marchés de la mode, de l’automobile et de l’ameublement, et participe au développement de l’industrie avec audace et passion. Et ce n’est pas tout ! Nos solutions d’intelligence industrielle à la pointe de la technologie facilitent aussi la transformation digitale des entreprises. Nous sommes donc toujours à la recherche de nouveaux talents férus de technologies pour rejoindre nos équipes ! Lectra, c’est plus de 50 ans d’expérience et une présence dans plus de 100 pays à travers le monde. C’est aussi 3000 collaborateurs unis par une même passion et animés par un vrai sens de l’innovation. Prêts à rejoindre cette aventure unique et à façonner l’avenir des technologies avec nous ?

Nous sommes à la recherche de notre nouvel(le) Ingénieur(e) senior d’automatisation de tests H / F spécialisé dans la gestion de la qualité d’assistants s’appuyant sur l’Intelligence Artificielle, tels que des applications RAG (Retrieval-Augmented Generation), des chatbots basés sur des LLMs (Large Language Models), et dautres solutions conversationnelles avancées.

Nos équipes de R&D sont engagées dans la création d’assistants IA capables de traiter une variété de contenus, allant des données métiers aux documents dentreprise pour simplifier l’utilisation de nos solutions à nos clients. Nos applications doivent évoluer avec les besoins de nos utilisateurs, ce qui nous amène à adopter une architecture flexible pour changer facilement de modèles de langage (LLM) sous-jacents. Dans cet environnement dynamique, nous valorisons lexploration, la créativité et linnovation.

Vous serez amené à travailler au sein dune équipe agile, où votre capacité à innover et à faire de la veille technologique sera essentielle. Dans ce rôle, vous serez responsable de la mise en œuvre de méthodes de testing adaptées, tout en garantissant que nos solutions répondent aux standards de qualité.

Pour réussir dans ce poste, vous devrez faire preuve de curiosité et dune volonté dexplorer de nouveaux outils et pratiques. Votre capacité à structurer lanalyse des résultats et à prendre des décisions sera essentielle pour mener à bien vos missions. Vous devrez également apprécier le travail collaboratif et être disposé à partager vos connaissances et à apprendre de vos collègues.

Concevoir et mettre en œuvre des stratégies de test innovantes pour nos assistants IA, intégrant des pratiques innovantes et des outils adaptés.

Définir et appliquer des méthodes d’évaluation spécifiques aux modèles LLM : détection d’hallucinations, robustesse des prompts, évaluation de la cohérence et de la fidélité des réponses.

Effectuer une veille technologique active pour identifier les nouveaux outils et méthodes qui pourraient optimiser nos processus.

Développer des scénarios de tests automatisés et manuels, en tenant compte des divers cas dutilisation et des caractéristiques des utilisateurs.

Analyser les résultats des tests de manière structurée et claire, et formuler des recommandations basées sur des données probantes.

Diffuser les pratiques et connaissances.

Compétences requises

Formation : Diplôme en informatique, en ingénierie, en science des données ou dans un domaine connexe.

Expérience : Minimum 5 ans d’expérience dans le monde du développement logiciel, dont une expérience significative dans la définition et mise en œuvre dune stratégie de tests sur un projet de développement faisant intervenir les technologies IA LLM, Machine Learning ou données.

Compétences techniques :

Maîtrise des langages de programmation (tels que Python, Java ou Kotlin)

Connaissance des frameworks dIA (MLFlow, Langchain, Langgraph, TensorFlow)

Connaissance des outils d’évaluation de LLM (par exemple : TruLens, PromptLayer, DeepEval, LLM-as-a-Judge)

Expérience avec des outils danalyse de données et de visualisation (Pandas, SQL, PowerBI)

Compétences analytiques : Capacité à analyser des ensembles de données complexes et à interpréter les résultats de manière critique.

Compétences en communication : Excellentes compétences en communication écrite et orale, avec la capacité de présenter des résultats techniques à des publics non techniques.

Sensibilité à léthique de lIA : Compréhension des enjeux éthiques liés à lIA, y compris la gestion des biais et la transparence des modèles.

Atouts :

Expérience dans la validation de modèles dIA ou de machine learning.

Familiarité avec les indicateurs de performance (précision, rappel, fidélité) appliqués à l’IA.

Expertise dans la collecte et l’analyse de golden datasets.

Connaissance des méthodologies de test logiciel et des bonnes pratiques en matière de validation.

Ce que nous vous proposons

* Travailler dans un environnement international, multiculturel (32 nationalités) et agile,
* Des locaux refaits à neuf récemment sur un site boisé de 12 hectares,
* Un CSE attractif proposant des subventions pour les voyages, de la location de matériel (randonnée, surf, réception…), activités culturelles et sportives, une médiathèque…
* Prise en charge mutuelle à hauteur de 60%
* Mise à disposition du complexe sportif du Bouzet à Cestas,
* Un restaurant d’entreprise,
* 70 jours de télétravail par an.


Créer une alerte emploi pour cette recherche


J-18808-Ljbffr