La mission principale de ce CDD chercheur est de concevoir et de mettre en œuvre des modèles d'attention cognitive pour la vision par ordinateur adaptés aux données événementielles.
Activités
La rétine biologique a inspiré le développement d'un nouveau type de caméra : des capteurs basés sur les événements mesurent de manière asynchrone les changements de luminosité par pixel et produisent un flux d'événements qui codent l'heure, l'emplacement et le signe des changements de luminosité (positifs ou négatifs). En plus d'éliminer la redondance, ils présentent plusieurs avantages par rapport aux caméras à images fixes classiques, dont ils diffèrent fondamentalement. Les capteurs événementiels s'inspirent de l'œil humain, qui est principalement sensible aux changements de luminance tombant sur ses capteurs individuels. Ces changements sont traités par des couches de neurones dans la rétine jusqu'aux cellules ganglionnaires rétiniennes qui génèrent des potentiels d'action, ou spikes, chaque fois qu'un changement significatif est détecté. Ces spikes se propagent ensuite à travers le nerf optique jusqu'au cerveau. Les mécanismes d'attention cognitive, inspirés de la capacité du cerveau humain à se concentrer de manière sélective sur les informations pertinentes, peuvent offrir des avantages significatifs dans les systèmes de vision par ordinateur embarqués. L'œil humain possède une petite zone à haute résolution (la fovéa) au centre du champ de vision, et une vision périphérique beaucoup plus large, dont la résolution est nettement inférieure, mais qui est associée à une sensibilité accrue au mouvement. Par conséquent, des ressources limitées sont déployées pour extraire les informations les plus saillantes de la scène sans gaspiller d'énergie à capturer l'ensemble de la scène à la résolution la plus élevée. Ce mécanisme de fovéation a inspiré le développement récent d'un capteur d'événements à résolution variable. Ce capteur dispose d'un contrôle électronique de la résolution dans certaines zones d'intérêt, ce qui permet de concentrer les ressources informatiques en aval sur des zones spécifiques de l'image qui transmettent les informations les plus utiles. Ce capteur va même au-delà de la biologie en permettant de sélectionner plusieurs zones d'intérêt.
Une première étape dans ce projet consistera à étudier les mécanismes attentionnels de l’état de l’art dans les réseaux profonds et leur lien avec l'attention cognitive telle qu'elle est mise en œuvre dans le cerveau. L'attention cognitive désigne le traitement sélectif des informations sensorielles par le cerveau en fonction de leur pertinence et de leur importance pour la tâche ou l'objectif en cours. Elle implique la capacité de concentrer son attention sur des aspects spécifiques de l'environnement tout en filtrant les informations non pertinentes ou distrayantes. L'étude fera notamment la distinction entre l'attention dit « bottom-up » et l'attention « top-down ».
La deuxième étape consistera à concevoir une architecture attentionnelle pour les données événementielles qui permettra de se concentrer sélectivement sur les régions pertinentes tout en ignorant les parties non pertinentes, ce qui dépendra de la tâche ciblée (par exemple, segmentation, suivi d'objets, évitement d'obstacles, etc.) Le modèle sera basé soit sur des réseaux profonds standard, soit sur des réseaux de neurones impulsionnels, sur la base de travaux antérieurs de l’équipe d’accueil. Les réseaux neuronaux impulsionnels sont une classe particulière de réseaux neuronaux artificiels, où les neurones communiquent par des séquences de pointes asynchrones. En raison de leur principe de fonctionnement asynchrone, ils constituent donc une solution naturelle pour les caméras événementielles. Cette sélection de régions se traduira par une utilisation moindre de données et par des modèles plus petits (système frugal). Dans un troisième temps, nous évaluerons l'impact du mécanisme d'attention sur les performances générales d’un système embarqué de vision par ordinateur. Les métriques retenues dépendront évidemment de la tâche sélectionnée et incluront la précision, le MIOU, la compacité et l'efficacité.
Il est également attendu que le chercheur recruté participe aux activités liées au projet NAMED (organisation et participation actives aux réunions de projet, participation à la rédaction des livrables), en collaboration avec les membres locaux et distants du projet.
Compétences
Des compétences en programmation en Python/C++ sont attendues, ainsi qu’un intérêt pour la recherche, l'apprentissage automatique, la bio-inspiration, l’électronique et les neurosciences.
Contexte de travail
Ce poste s'inscrit dans le cadre d'un projet collaboratif international cofinancé par l'ANR française et le FNS suisse. Le projet NAMED (Neuromorphic Attention Models for Event Data) a démarré le 1er février 2024, en collaboration avec le SCALab de Lille et l'ETH Zürich. Le domaine de la vision par ordinateur embarquée a pris une importance croissante ces dernières années, à mesure que la demande en systèmes de vision à faible latence et à faible consommation d'énergie s'est accrue. L'un des principaux défis dans ce domaine consiste à développer des systèmes de vision intelligents capables de traiter efficacement de grandes quantités de données visuelles tout en conservant une précision et une fiabilité élevées.
Ce poste s'inscrit dans le cadre d'un projet collaboratif international cofinancé par l'ANR française et le FNS suisse. Le projet NAMED (Neuromorphic Attention Models for Event Data) a démarré le 1er février 2024, en collaboration avec le SCALab de Lille et l'ETH Zürich. Le domaine de la vision par ordinateur embarquée a pris une importance croissante ces dernières années, à mesure que la demande en systèmes de vision à faible latence et à faible consommation d'énergie s'est accrue. L'un des principaux défis dans ce domaine consiste à développer des systèmes de vision intelligents capables de traiter efficacement de grandes quantités de données visuelles tout en conservant une précision et une fiabilité élevées.
Contraintes et risques
Expérience souhaitée inférieure à 2 ans.
Le travail sera effectué dans le cadre d’un projet ANR en partenariat avec l’Université de Lille et l’ETZ Zürich. Cela impliquera de travailler en équipe et de se déplacer pour des réunions de projet ou des colloques, en France, en Suisse, et à l’international.
Expérience souhaitée inférieure à 2 ans.
Le travail sera effectué dans le cadre d’un projet ANR en partenariat avec l’Université de Lille et l’ETZ Zürich. Cela impliquera de travailler en équipe et de se déplacer pour des réunions de projet ou des colloques, en France, en Suisse, et à l’international.
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.