Modèles génératifs par flots hamiltoniens et non-réversibles // generative models by hamiltonian and non-reversible stochastic flows

Topic description

Le projet de doctorat s'inscrit dans le domaine des modèles génératifs, qui vise à capturer et à échantillonner des distributions de données complexes et de grande dimension, jouant ainsi un rôle central en apprentissage automatique, en inférence bayésienne et en physique computationnelle. Parmi les méthodes génératives, les Normalizing Flows (NF) se distinguent par leur capacité à apprendre une transformation d'une distribution simple vers une distribution cible via une succession de transformations inversibles, offrant des garanties intéressantes en termes de stabilité et de correction. Toutefois, ces approches classiques souffrent souvent de limitations computationnelles importantes, notamment en grande dimension, où le calcul des déterminants jacobiens devient coûteux.

Dans ce contexte, les Normalizing Hamiltonian Flows (NHF) constituent une alternative prometteuse. En s'appuyant sur des schémas d'intégration symplectique, ils permettent de construire des transformations conservant le volume tout en autorisant des architectures neuronales flexibles. Ces méthodes présentent plusieurs avantages, tels qu'une réduction des coûts de calcul, une robustesse accrue grâce à une modélisation explicite de l'énergie cinétique, ainsi qu'une meilleure interprétabilité. Des résultats récents montrent notamment que les NHF nécessitent des intégrations dynamiques plus courtes que les modèles de diffusion, ce qui renforce leur attractivité du point de vue computationnel.

Le projet vise ainsi à approfondir ces avancées en améliorant la flexibilité des NHF, tout en explorant des approches alternatives fondées sur des implémentations de flux non réversibles. L'objectif est de développer des outils génératifs à l'état de l'art, capables de rivaliser avec les modèles de diffusion, et de mieux comprendre les liens analytiques entre ces différentes approches et de quantifier leur performance. Un enjeu important consistera également à évaluer la capacité des NHF à passer à l'échelle sur des modèles complexes de physique statistique et à comparer rigoureusement leur efficacité à celle d'autres méthodes génératives.

Le doctorant ou la doctorante évoluera dans un environnement de recherche riche et interdisciplinaire. Il ou elle sera accueilli(e) à l'Université Clermont Auvergne, au Laboratoire de Mathématiques Blaise Pascal (UMR ), et intégré(e) à la chaire MIAI R-GAINS. Le projet sera encadré par Arnaud Guillin (UCA, LMBP) et Manon Michel (CNRS, LMBP), et s'inscrira dans une dynamique collaborative impliquant plusieurs laboratoires (LMBP, ICCF à Clermont-Ferrand, ainsi que le LIPhy à l'Université Grenoble Alpes). Le ou la candidat(e) bénéficiera également de l'écosystème du MIAI (Multidisciplinary Institute in Artificial Intelligence), qui favorise des recherches de pointe en intelligence artificielle et leurs applications, offrant ainsi un cadre stimulant à l'interface entre processus stochastiques, apprentissage automatique et physique statistique.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

The PhD project lies within the field of generative modeling, which aims to capture and sample complex high-dimensional data distributions, thereby playing a central role in machine learning, Bayesian inference, and computational physics. Among generative methods, Normalizing Flows (NF) stand out for their ability to learn a transformation from a simple distribution to a target distribution through a sequence of invertible mappings, offering appealing guarantees in terms of stability and correctness. However, these classical approaches often suffer from significant computational limitations, particularly in high dimensions, where the computation of Jacobian determinants becomes costly.

In this context, Normalizing Hamiltonian Flows (NHFs) constitute a promising alternative. By relying on symplectic integration schemes, they enable the construction of volume-preserving transformations while allowing for flexible neural network architectures. These methods offer several advantages, such as reduced computational costs, increased robustness through explicit modeling of kinetic energy, and improved interpretability. Recent results notably show that NHFs require shorter dynamical integrations than diffusion models, further enhancing their computational attractiveness.

The project therefore aims to build upon these advances by improving the flexibility of NHFs, while also exploring alternative approaches based on non-reversible flow implementations. The objective is to develop state-of-the-art generative tools capable of competing with diffusion models, to better understand the analytical links between these different approaches, and to quantify their performance. An important challenge will also be to assess the ability of NHFs to scale to complex models in statistical physics and to rigorously compare their efficiency with that of other generative methods.

The PhD candidate will evolve in a rich and interdisciplinary research environment. They will join Université Clermont Auvergne at the Laboratoire de Mathématiques Blaise Pascal (UMR ) and will be part of the MIAI R-GAINS chair. The project will be supervised by Arnaud Guillin (UCA, LMBP) and Manon Michel (CNRS, LMBP), and will be embedded in a collaborative dynamic involving several laboratories (LMBP, ICCF in Clermont-Ferrand, as well as LIPhy at Université Grenoble Alpes). The candidate will also benefit from the broader MIAI (Multidisciplinary Institute in Artificial Intelligence) ecosystem, which fosters cutting-edge research in artificial intelligence and its applications, providing a stimulating environment at the interface of stochastic processes, machine learning, and statistical physics.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/
WEB :

Funding category

Other public funding

Funding further details

ANR Financement d'Agences de financement de la recherche