Calcul neuromorphique et apprentissage non supervisé // neuromorphic computing and unsupervised learning

Topic description

Notre équipe de recherche étudie différents modèles de réseaux de neurones bio-inspirés, avec pour certains la perspective d'une implantation sur circuit neuromorphique. Dans ce contexte, les modèles impulsionnels (spiking neural networks) constituent une approche particulièrement adaptée aux architectures matérielles émergentes, en raison de leur traitement asynchrone et de leur codage temporel de l'information. La plupart des travaux en calcul neuromorphique se concentrent aujourd'hui sur des approches supervisées ou inspirées du deep learning. Nos travaux se concentrent au contraire sur les modèles non supervisés bio-inspirés, qui restent encore relativement sous-explorés selon le paradigme du calcul neuromorphique, malgré leur pertinence pour l'apprentissage en ligne, l'adaptation continue et la sobriété énergétique. Nous avons notamment défini dans [4] une version impulsionnelle de cartes auto-organisatrices (SOM, self-organizing map), dont l'apprentissage est obtenu par une règle STDP (Spike-Timing Dependent Plasticity, [5]) déterminée de façon à coder l'information dans le temps des spikes et non dans leur fréquence. A l'instar des cartes de Kohonen ([6]), un modèle connu d'auto-organisation inspiré du cortex, nos SOM impulsionnelles permettent une quantification vectorielle non supervisée de données dans laquelle les prototypes s'organisent selon des règles de voisinage pré-fixées.

Cette thèse vise à enrichir ces travaux selon différents axes complémentaires possibles. Tout d'abord, il s'agit d'étendre l'étude à des modèles neuronaux à topologie adaptative issus de la famille des gaz neuronaux (Neural Gas [7], Growing Neural Gas [8], GNG-T [9], Growing When Required [10], Self-Organizing Incremental Neural Network [11], etc.). Contrairement aux SOM classiques, ces modèles se caractérisent par une topologie dynamique, où la structure du graphe évolue au cours de l'apprentissage. Cette propriété introduit un défi majeur dans un cadre neuromorphique : comment définir des mécanismes impulsionnels d'apprentissage locaux, permettant non seulement l'adaptation des poids synaptiques mais aussi la création, la suppression et la réorganisation des connexions ? Un autre axe de recherche concerne l'intégration de ces modèles avec des capteurs neuromorphiques, en particulier les caméras événementielles. Ces capteurs fournissent un flux de données directement sous forme d'événements asynchrones, ce qui ouvre la voie à des chaînes de traitement entièrement impulsionnelles. L'étude portera notamment sur l'adaptation des modèles considérés et sur les stratégies de codage temporel permettant d'exploiter efficacement ces flux d'impulsions. Enfin, les travaux pourront être menés à différents niveaux d'abstraction, allant de la conception algorithmique jusqu'à l'implantation sur des architectures neuromorphiques (puces neuromorphiques ou plateformes de calcul neuromorphique, ou encore implémentations sur circuits FPGA). L'objectif sera d'identifier les compromis entre performance des modèles et contraintes matérielles.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Our research team is studying different kinds of bio-inspired neural network models, some of which are intended for implementation on neuromorphic chips. In this context, spiking neural networks are a particularly well-suited approach to emerging hardware architectures, due to their asynchronous processing and temporal encoding of information. Most work in neuromorphic computing currently focuses on supervised or deep learning-inspired approaches. Our work, on the other hand, focuses on unsupervised bio-inspired models, which are still little studied within the neuromorphic computing paradigm, despite their relevance for online learning, continuous adaptation, and energy efficiency. In particular, we defined in [4] a spiking version of self-organizing maps (SOMs), whose learning is achieved through a Spike-Timing Dependent Plasticity (STDP) rule [5] designed to encode information in the timing of spikes rather than their frequency. Like Kohonen maps ([6]), a well-known model of self-organization inspired by the cortex, our spiking SOMs enable unsupervised vector quantization of data in which prototypes organize themselves according to pre-defined neighborhood rules.

This thesis aims to enrich this work along several possible complementary lines. The first goal is to extend the study to neural models with adaptive topology such as the different variants of neural gases (Neural Gas [7], Growing Neural Gas [8], GNG-T [9], Growing When Required [10], Self-Organizing Incremental Neural Network [11], etc.). Unlike classical SOMs, these models are characterized by a dynamic topology, where the graph structure evolves during learning. This property introduces a major challenge within a neuromorphic framework: how to define local, spike-driven learning mechanisms that allow not only the adaptation of synaptic weights but also the creation, deletion, and reorganization of connections? Another research line focuses on the integration of these models with neuromorphic sensors, particularly event cameras. These sensors provide a data stream directly in the form of asynchronous events, paving the way for entirely spike-driven processing chains. The study will consider various ways to adapt the models considered and their temporal coding strategies so as to allow for the efficient processing of these spike streams. Finally, the work can be conducted at different levels of abstraction, ranging from algorithmic design to implementation on neuromorphic architectures (neuromorphic chips or neuromorphic computing platforms, or even implementations on FPGA circuits). The objective will be to identify the trade-offs between model performance and hardware constraints.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/

Funding category

Public funding alone (i.e. government, region, European, international organization research grant)

Funding further details

Concours pour un contrat doctoral