Théorie des systèmes de dimension infinie pour les réseaux de neurones // a control theory perspective on infinite-dimensional neural networks

Topic description

Cette thèse de doctorat propose une approche par la théorie des systèmes des réseaux de neurones de dimension infinie, en liant les modèles discrets à grande échelle et les systèmes dynamiques continus. Les travaux commenceront par formaliser le lien entre les réseaux de neurones récurrents résiduels (RNN) et les équations différentielles ordinaires (ODE) neuronales à l'aide d'outils de la théorie du contrôle, comme le cadre des perturbations singulières, afin de gérer des échelles de temps distinctes entre les données d'entrée et la dynamique du réseau.

Un deuxième axe consistera à traduire les exigences de l'apprentissage automatique — telles que la mémoire décroissante et la stabilité — en propriétés de stabilité de Lyapunov, de contraction et de robustesse des ODE neuronales. En utilisant des conditions de secteur pour les fonctions d'activation, la thèse développera des méthodes de Lyapunov pour évaluer ces propriétés, avec un accent particulier sur la stabilité incrémentale entrée-état. Des simulations numériques valideront les conditions théoriques et leur applicabilité aux réseaux de grande dimension, offrant potentiellement des garanties théoriques pour des architectures existantes comme les unités récurrentes à porte (GRU) et orientant l'entraînement en imposant des contraintes de stabilité.

Enfin, la thèse réinterprétera l'entraînement des RNN comme la synthèse d'observateurs, en le considérant comme un problème d'estimation de paramètres où l'observabilité dépend des données d'entrée. Inspirée par les avancées récentes dans les champs neuronaux biologiques, cette étude analysera l'observabilité des paramètres du réseau pour des GRU monocouches et explorera son lien avec la complexité de l'entraînement au moyen de simulations.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

This PhD thesis proposes a control theory perspective on infinite-dimensional neural networks, addressing the gap between discrete-time large-scale models and continuous-time dynamical systems. The research will first formalize the link between residual recurrent neural networks (RNNs) and Neural Ordinary Differential Equations (ODEs) using control theory tools, such as the singular perturbation framework, to manage distinct time-scales between input data and network dynamics.

A second focus will be on translating machine learning requirements—such as fading memory and stability—into Lyapunov stability, contraction, and robustness properties of Neural ODEs. By employing sector conditions for activation functions, the thesis will develop Lyapunov methods to assess these properties, with a particular emphasis on incremental input-to-state stability. Numerical simulations will validate the theoretical conditions and their applicability to high-dimensional networks, potentially offering theoretical guarantees for existing architectures like gated recurrent units (GRUs) and informing training by imposing stability constraints.

Finally, the thesis will reinterpret the training of RNNs through an observer design lens, framing it as a parameter estimation problem where observability depends on the input data. Inspired by recent advances in biological neural fields, the work will analyze the observability of network parameters for single-layer GRUs and investigate its relationship with training complexity through simulations.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/

Funding category

Public funding alone (i.e. government, region, European, international organization research grant)

Funding further details

Concours pour un contrat doctoral