Ingénieur.e llm/mlops

Vos missions en quelques mots Vos activités principales Vous participerez, dès votre arrivée, à la mise en production de modèles LLM internes dans un contexte sensible et souverain. Vous contribuerez à définir l’architecture technique d’une plateforme IA nationale et à faire évoluer nos outils vers une approche DevOps/MLOps structurée, réutilisable par l’ensemble des directions métiers. ·Mettre en place et maintenir des orchestrateurs de workflows IA (Airflow, n8n), ainsi que des serveurs d’inférence performants (vLLM, Ray Serve) ·Industrialiser des chaînes de traitement basées sur des architectures RAG, avec intégration de bases vectorielles (OpenSearch, Qdrant…) et de modèles LLM open source ou entraînés en interne ·Monitoring et maintenance des modèles : Surveiller les performances et la dérive des modèles en production, gestion des erreurs LLM, optimisation de temps de réponse de modèles ·Garantir la reproductibilité des expériences via le versioning des modèles et des jeux de données (DVC, MLflow) ·Contribuer, avec les équipes techniques, à la mise en place et l’optimisation de l’infrastructure IA souveraine hébergée sur un Cloud sécurisé supportant les modèles de langages : : load-balancing, auto-scaling ·Assurer la résilience et la continuité des services Ops en collaboration étroite avec le DevOps en suivant ces sujets pour garantir la stabilité, la performance et la sécurité des infrastructures supportant les modèles IA Votre hiérarchie La Direction de programme est composée d’un.e directeur.ice (N2), et d’un adjoint.e (N1). Vos interlocuteurs métiers Agents et prestataires des directions métier du Ministère de la Justice (DSJ, DAP, DACS, DACG, DPJJ, SG) et avec la direction du numérique Profil recherché Vos principales compétences à mettre en œuvre ·Architecture logicielle avec expérience spécifique dans le déploiement de LLMs à grande échelle ·Expertise en optimisation des performances d'inférence de LLMs (quantization, distillation, etc.) ·Maîtrise des workflows RAG et des frameworks LLMOps (LangChain, LlamaIndex, Haystack) ·Expérience avec les serveurs d’inférence (TGI, vLLM, Triton) pour optimiser les temps de réponse ·Connaissance approfondie des techniques de traçabilité et d’auditabilité des modèles (logs, métadonnées, versioning complet) ·Sensibilité DevSecOps : chiffrement, authentification, cloisonnement des accès aux données sensibles Connaissances Connaissance des outils de CI/CD (Jenkins, GitLab CI, CircleCI). Connaissance des conteneurs et des orchestrateurs (Docker, Kubernetes) Frameworks Big Data (Cloudera, Kafka, Hive…) Stack LLMOps : LCEL, LangChain Maîtrise des librairies Pandas, Pytorch, Tensorflow etc. Bases vectorielles (OpenSearch, Weaviate, Pinecone) Savoir-faire Automatisation des processus de déploiement et de gestion des infrastructures Outils de monitoring et de traçabilité de modèles : MLflow, Prometheus, Grafana Règles de sécurité informatique Veille technique Orchestration de workflows IA : Airflow, n8n Serveurs d’inférence : vLLM, Triton Gestion des environnements sensibles et sécurité des modèles Savoir-être Travailler en méthode agile Sensibilité pour l’approche produit et l’utilisateur au centre Expériences professionnelles antérieures souhaitées Diplômé(e) d'une école d'ingénieurs ou d'un master en informatique, avec une spécialisation en Ops, Machine Learing, IA, cloud computing ou un domaine similaire. Expérience professionnelle significative dans un rôle d’ingénieur.e MLOps, de préférence dans un environnement gouvernemental ou réglementé. Une expérience dans le déploiement à l’échelle de modèles LLM (internes ou open source) dans un cadre contraint ou réglementé est un atout majeur. Une appétence pour la construction de plateformes mutualisées ou de briques IA génériques utilisées dans différents produits métiers sera valorisée. Localisation Localisation : 75001 Paris, France Flèche gauche : déplacer la carte vers la gauche Flèche droite : déplacer la carte vers la droite Flèche bas : déplacer la carte vers le bas Flèche haut : déplacer la carte vers le haut Éléments de candidature Personnes à contacter Haï-Ha Trinh-Vu hai-ha.trinh-vu@justice.gouv.fr Elise Farge Di Maria elise.farge-di-maria@justice.gouv.fr