Ai productivity engineer intern

Le poste :

Yousign recherche, à partir de janvier 2026,un(e) AI Productivity Engineer Intern, pour rejoindre son équipe AI Productivity, directement sous la supervision du AI Productivity Lead Engineer.

Durant ce stage de 6 mois, tu participeras à la mise en œuvre d’un processus d’évaluation robuste et industrialisé pour nos agents/assistants d’IA de productivité (Dust). Ton périmètre couvrira :

* la définition des critères de qualité,
* la constitution de jeux de tests,
* l’architecture, le développement, le déploiement et l’exploitation continue d’un pipeline d’évaluation.

L’objectif est d’améliorer la qualité, la fiabilité et la mesurabilité des agents utilisés par les équipes, grâce à des indicateurs de performance suivis.


Missions principales :

* Benchmark & étude : Revue des approches d’évaluation (LLM-as-Judge, golden sets, pairwise, human-in-the-loop) ; benchmark d’outils (Dust, LangSmith, OpenAI Evals, plateforme custom) ; définition des critères qualité par type d’agent (exactitude, robustesse, sécurité, coût, latence).
* Conception : Design d’un pipeline d’évaluation reproductible (datasets, orchestration, stockage des runs, traçabilité) ; spécification de l’intégration aux agents Dust et au CI/CD ; schéma des tableaux de bord et alertes (adoption, régressions, SLO qualité).
* Développement : Implémentation d’une plateforme d’évaluation (Python/TypeScript) et des premiers jeux de tests ; intégration LLM-as-Judge et métriques (accuracy, relevance, safety, cost, latency) ; automatisation des campagnes hebdomadaires et versioning des résultats.
* Déploiement : Déploiement du pipeline, des tableaux de bord et des alertes en environnement de production interne ; intégration au workflow des équipes (documentation, formation, runbooks) ; passage de relais pour l’exploitation continue.


Profil recherché :

* Étudiant(e) en école d’ingénieur, en recherche d’un stage de fin d’études.

Compétences techniques (Hard skills) :

Must-have :

* Bases solides en développement (Python ou TypeScript) et en métriques.
* Rigueur dans la gestion des données (datasets, annotation, reproductibilité, versioning).
* Intérêt marqué pour l’IA générative et l’évaluation de la qualité.
* Anglais courant (documentation technique, outils).

Nice-to-have :

* Expérience avec des LLMs (Claude, GPT, etc.) et évaluation automatisée.
* Connaissance d’outils d’évaluation (LangSmith, OpenAI Evals, Langfuse) ou d’observabilité.
* Pratique du CI/CD, des tableaux de bord et de l’alerting.

Qualités personnelles (Soft skills) :

* Curiosité et veille technologique – Intérêt pour l’innovation en IA.
* Pédagogie – Capacité à vulgariser et à former.
* Adaptabilité – Environnement en évolution rapide.
* Esprit d’initiative – Proactivité dans l’identification d’opportunités.


Ce que trouveras chez Yousign :

o Une scale-up dynamique qui place les personnes avant tout
o Un style de management qui favorise l’autonomie et la cohésion, au travers d’objectifs communs (OKR)
o Le meilleur de la culture et des méthodes de travail
o Un environnement de travail bienveillant et stimulant
o Des évènements d’équipes réguliers
o La possibilité de travailler depuis nos très jolis bureaux à Paris juste à côté de la place de Clichy
o Télétravail occasionnel (rythme à adapter avec ton équipe)


Equal Opportunity at Yousign

Chez Yousign, nous célébrons l’unicité et veillons à ce que chaque membre de l’équipe ait les mêmes opportunités de contribuer.Nous offrons des chances égales à tous et maintenons des processus transparents et équitables.

Rejoignez-nous chez Yousign, où nos différences nourrissent la créativité et la force — embarquons ensemble dans cette aventure incroyable ! 🌈✨