Doctorant en réseaux neuronaux ultra-basse précision pour la vision événementielle embarquée h/f

Description du Poste Sujet De Thèse Cette thèse vise à concevoir une nouvelle génération de réseaux de neurones binarisés ou fortement quantifiés pour le traitement de données issues de caméras à événements sur plateformes embarquées. Contrairement aux caméras conventionnelles, les caméras événementielles produisent des flux asynchrones et parcimonieux décrivant les variations locales de luminance, offrant une latence minime robuste aux mouvements très rapides et une grande dynamique. Ces propriétés sont particulièrement adaptées à la robotique, aux drones, aux véhicules autonomes et aux systèmes de perception basse consommation.L’objectif de la thèse est de dépasser l’approche consistant à convertir les événements en pseudo-images traitées par des réseaux classiques. Il s’agira de co-concevoir les représentations événementielles, les architectures neuronales ultra-basse précision, binarisés (BNN) ou quantifiés (QNN), les stratégies d’apprentissage et les contraintes de déploiement matériel. Les modèles étudiés combineront potentiellement couches binaires, quantification mixte, mémoire temporelle, récurrence légère, attention parcimonieuse, focalisation dynamique et inférence partielle.Les contributions attendues pourront porter sur : - l’étude des représentations événementielles compatibles avec la binarisation ; - la conception de blocs BNN/QNN adaptés aux flux asynchrones ; - le développement de méthodes d’entraînement robustes par distillation, quantization-aware training et apprentissage progressif ; - l’évaluation conjointe en précision, latence, mémoire, énergie et robustesse ; - la validation sur benchmarks publics et plateformes robotiques embarquées.Les architectures proposées seront évaluées sur des jeux de données de référence en vision événementielle, notamment pour la classification, la reconnaissance de gestes, la détection d’objets, le suivi ou la perception robotique. Une attention particulière sera portée aux benchmarks réalistes comme Gen1 Automotive Detection, MVSEC ou DSEC, ainsi qu’à la comparaison avec des modèles événementiels récents non quantifiés.Cette thèse contribuera ainsi à rapprocher la vision neuromorphique, l’apprentissage profond frugal et l’intelligence artificielle embarquée, avec pour ambition de produire des modèles capables d’exploiter la nature asynchrone des événements tout en respectant des contraintes strictes de temps réel et de consommation énergétique.References:Vision événementielle, neuromorphique, frugalité et edge AI - Gallego, G. et al. Event-based Vision: A Survey, IEEE TPAMI, 2022. - Zheng, X. et al. Deep Learning for Event-based Vision: A Comprehensive Survey and Benchmarks, 2024. - Rebecq, H. et al. Events-to-Video: Bringing Modern Computer Vision to Event Cameras, CVPR 2019. - Gehrig, M., Scaramuzza, D. Recurrent Vision Transformers for Object Detection with Event Cameras, CVPR 2023. - Peng, Y. et al. GET: Group Event Transformer for Event-Based Vision, ICCV 2023. - Gehrig, D. et al. Low-latency automotive vision with event cameras, Nature, 2024. - Cordova-Cardenas, R. et al. Edge AI in Practice: A Survey and Deployment Framework, 2025. - Cazzato, D. et al. An Application-Driven Survey on Event-Based Neuromorphic Vision, 2024. - Cimarelli, C. et al. Hardware, Algorithms, and Applications of the Neuromorphic Vision Sensor: a Review.Binarisation, quantification et compression - Courbariaux, M. et al. Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1, 2016. - Rastegari, M. et al. XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks, ECCV 2016. - Liu, Z. et al. Bi-Real Net: Enhancing the Performance of 1-bit CNNs With Improved Representational Capability and Advanced Training Algorithm, ECCV 2018. - Liu, Z. et al. ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions, ECCV 2020. - Jacob, B. et al. Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference, CVPR 2018. Votre Environnement de Travail Le laboratoire Heudiasyc est localisé à Compiègne dans l'Oise, ville de taille humaine et au cadre verdoyant tout en étant à proximité de la région parisienne. L'équipe SyRI est spécialisée dans les applications pour la mobilité des robots, tels que des voitures et des drones intelligents. Nous nous focalisons sur les problèmes de décision, de commande, de localisation, de communication, de perception, et de réalité virtuelle. Le laboratoire dispose de véhicules robotisés équipés de nombreux capteurs, d’une piste d’essais, de simulateurs, et d’une volière. Notre équipe est également impliquée dans le laboratoire commun SIVALab entre UTC, CNRS et Renault (Ampere).En vision par ordinateur, nous avons développé des compétences fortes en vision événementielle depuis 2020, avec des résultats sur des applications de calibrage, de flot optique, d'estimation des profondeurs, et de segmentation des objets mobiles. Rémunération et avantages Rémunération 2300 € mensuel brut Congés et RTT annuels 44 jours Pratique et Indemnisation du TT Pratique et indemnisation du TT Transport Prise en charge à 75% du coût et forfait mobilité durable jusqu’à 300€ À propos de l’offre Référence de l’offre UMR7253-JULMOR-006 Section(s) CN / Domaine de recherche Physique des matériaux : structure et dynamique À propos du CNRS Le CNRS est un acteur majeur de la recherche fondamentale à une échelle mondiale. Le CNRS est le seul organisme français actif dans tous les domaines scientifiques. Sa position unique de multi-spécialiste lui permet d’associer les différentes disciplines pour affronter les défis les plus importants du monde contemporain, en lien avec les acteurs du changement. Le CNRS Les métiers de la recherche