Modèle de fondation pour la prédiction spatio-temporelle // foundation models for spatio-temporal prediction

Topic description

L'analyse et la prédiction de données spatio-temporelle est au cœur de nombreux défis scientifiques et sociétaux majeurs, notamment la prévision du climat et de la météorologie, l'analyse de la mobilité urbaine, la modélisation de la demande énergétique, la surveillance environnementale et le suivi en santé publique. Ces problématiques impliquent des interactions spatiales et temporelles complexes, souvent gouvernées par des dynamiques non linéaires, des sources de données hétérogènes et tachées d'incertitude. Bien que les avancées récentes en apprentissage profond (deep learning) aient permis des progrès significatifs, la plupart des modèles existants demeurent spécifiques à une tâche, fortement dépendants de grandes quantités de données annotées et difficilement transférables d'un domaine à l'autre. À l'inverse, les progrès récents en intelligence artificielle ont démontré la puissance des modèles de fondation - des modèles de grande taille pré-entraînés sur des volumes massifs de données et adaptables à de multiples tâches aval -.
Ce projet de thèse vise à transposer ce changement de paradigme à la science des données spatio-temporelles. L'objectif est de concevoir et de développer des modèles de fondation dédiés à la prédiction spatio-temporelle, autrement dit, des modèles génériques à grande échelle, capables d'apprendre des représentations riches à partir de données spatio-temporelles variées et de s'adapter efficacement à un large éventail de tâches prédictives. Plus précisément, la recherche portera sur la conception d'architectures scalables intégrant la dynamique temporelle, des structures spatiales et des informations contextuelles. Cela inclura des architectures basées sur les Transformers pour la modélisation des dépendances temporelles complexes, des graphes neuronaux (GNN) pour capturer les relations spatiales, ainsi que des modèles hybrides combinant des représentations continues et discrètes. Un axe central du projet sera l'apprentissage auto- et faiblement supervisé, afin de tirer parti de vastes volumes de données spatio-temporelles non annotées, telles que les flux de capteurs, les images satellitaires, les traces de mobilité ou les mesures environnementales.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Spatio-temporal prediction lies at the heart of many critical scientific and societal challenges, including climate and weather forecasting, urban mobility analysis, energy demand modelling, environmental monitoring, and public health surveillance. These problems involve complex interactions across space and time, often driven by non-linear dynamics, heterogeneous data sources, and high levels of uncertainty. While recent advances in deep learning have led to significant progress, most existing models typically remain task-specific, data-hungry, and difficult to transfer across domains. In contrast, recent breakthroughs in AI have demonstrated the power of foundation models — large-scale models pre-trained on massive datasets and adaptable to multiple downstream tasks.
This PhD project aims to bring this paradigm shift to spatio-temporal data science. The goal is to design and implement foundation models for spatio-temporal prediction: large-scale, general-purpose models capable of learning rich representations from diverse spatio-temporal data and adapting efficiently to a wide range of downstream prediction tasks. More specifically, the research will focus on designing scalable model architectures that integrate temporal dynamics, spatial structure, and contextual information. This will include transformer-based architectures for long-range temporal dependency modelling, graph neural networks for spatial relationships, and hybrid models that combine continuous and discrete representations. A central theme will be self-supervised and weakly supervised learning, enabling models to exploit vast amounts of unlabeled spatio-temporal data, such as sensor streams, satellite imagery, mobility traces, or environmental measurements.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/
WEB :

Funding category

Funding further details

Programme UPSaclay-Exeter (ADI)