Ingénieur / ingénieure machine learning (h/f)

Poste : Ingénieur / Chercheur Deep Learning - LLMs Multimodaux appliqués à la Vidéo (CDI ou Freelance, Full Remote possible)
Domaine : Intelligence Artificielle / Vision par Ordinateur / NLP / Multimodalité
Contexte
Veesion développe des technologies de vision par ordinateur pour détecter automatiquement des gestes de vol en rayon dans les supermarchés.
Nous ouvrons un nouveau chantier : l'application de LLMs multimodaux (MLLMs) à la compréhension de la vidéo, avec un focus sur l'analyse d'actions humaines, la compréhension fine de séquences visuelles, et le reasoning multimodal.
Missions

Implémenter et fine-tuner des modèles LLMs multimodaux open source (ex. : Flamingo, Video-LLaVA, mPLUG-Video, etc.)
Adapter efficacement des repositories GitHub issus de la recherche (exploitation rapide, modification agile)
Développer des pipelines d'entraînement et d'évaluation efficaces sur des données vidéo réelles
Concevoir des entraînements optimisés pour GPU (data pipeline performant, saturation GPU, etc.)
Lire et implémenter des travaux de recherche récents (ACL, CVPR, NeurIPS, etc.)
Participer à la définition de tâches de video understanding : classification d'actions, raisonnement temporel, interprétation de gestes
Construire des métriques pertinentes et les intégrer dans la boucle d'entraînement pour suivi temps réel
Profil recherché

3 ans d'expérience minimum en deep learning (thèse incluse), dont au moins 1 an sur des LLMs multimodaux
Maîtrise des concepts fondamentaux des LLMs : transformers, attention, PEFT, LoRA, prompt tuning, etc.
Expérience concrète en modèles multimodaux texte + vidéo
Capacité à adapter rapidement des architectures complexes à des cas d'usage spécifiques
Bonnes intuitions sur la conception et les limites des modèles actuels
Excellente maîtrise de PyTorch, HuggingFace, et des bonnes pratiques de recherche / prototypage rapide
Bonne connaissance des datasets de video understanding : LVBench, VideoQA, Video-Vista, Next-QA, TVQA, TGIF-QA, etc.
Capacité à citer et discuter les architectures récentes de MLLMs : Flamingo, Video-ChatGPT, mPLUG-Owl, Video-LLaVA, VideoCoCa, etc.
Intérêt pour le reasoning multimodal (interprétation, chaînage, inférence causale, etc.)
Anglais technique courant (lecture de papier, implémentation à partir de code et doc)
Bonus appréciés

Expérience avec des modèles orientés reasoning
Publications en conférence ou participation à des benchmarks publics (LVU Challenge, Ego4D Q&A, etc.)
Connaissances en traitement vidéo (ffmpeg, OpenCV)
Pratique d'outils de suivi d'expériences (W&B, TensorBoard)
Experience en Gen AI vidéo
Stack technique pertinente

PyTorch, HuggingFace, DeepSpeed
OpenCV, ffmpeg
Python 3.10+, Git, Linux, Docker
Contrat et cadre

CDI ou freelance longue durée
Full remote possible
Rémunération compétitive selon expérience
Pour postuler
Envoyez votre CV (et GitHub si disponible) à (adresse email), accompagné de quelques lignes expliquant vos expériences concrètes en MLLMs, video understanding et reasoning multimodal si applicables