Nous recherchons un Ingénieur Logiciel pour permettre le serving d'inférence IA à grande échelle sur la plateforme accélératrice Vsora Jotunn8. Le rôle porte sur l'évaluation, le portage, l'optimisation et le déploiement de runtimes d'inférence et frameworks de serving de pointe tels que vLLM et SGLang, afin de délivrer des solutions de serving IA performantes et scalables.
Responsabilités principales
- Piloter la conception, le développement et l'intégration de la stack logicielle chargée d'orchestrer et de gérer les charges de travail d'inférence IA hautes performances sur l'accélérateur Vsora Jotunn8.
- Évaluer et conduire une analyse technique approfondie des runtimes d'inférence IA modernes et des frameworks de serving, notamment vLLM, SGLang et d'autres solutions émergentes pour LLMs et charges de travail IA.
- Piloter le portage et l'optimisation des runtimes d'inférence et frameworks de serving sélectionnés vers la plateforme matérielle Vsora, en exploitant pleinement les capacités de l'accélérateur.
- Concevoir et implémenter des architectures de déploiement scalables pour le serving IA, couvrant les environnements mono-noeud et distribués, la planification des modèles, la gestion des ressources et les opérations en production.
- Définir l'architecture logicielle et la roadmap pour le serving IA sur les plateformes Vsora, en équilibrant performance, couverture fonctionnelle, maintenabilité et compatibilité écosystème.
- Collaborer avec les communautés open-source et les partenaires de l'écosystème IA pour assurer la compatibilité avec les principaux frameworks, environnements de déploiement et écosystèmes de modèles.
- Accompagner les clients et équipes internes via des implémentations de référence, des guides de déploiement, des caractérisations de performance et des bonnes pratiques pour l'inférence IA sur les plateformes Vsora.
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.