Modèles fondamentaux multimodaux pour les neurosciences // multimodal foundation models for neuroscience

Topic description

Les avancées en neurosciences s'appuient sur des données complexes et hétérogènes, allant de l'électroencéphalographie (EEG) à haute résolution temporelle et de l'imagerie par résonance magnétique fonctionnelle/structurale (fMRI/sMRI) aux dossiers cliniques et aux profils génomiques. Les développements récents en apprentissage automatique, et plus particulièrement en apprentissage profond, ont permis la conception de modèles fondamentaux à grande échelle [22], robustes et capables de bien généraliser à travers différentes distributions de données, contextes et applications. Bien que l'attention se soit majoritairement portée sur les grands modèles de langage (LLMs), utilisés pour l'apprentissage à partir de dossiers cliniques textuels, plusieurs initiatives ont visé à développer des modèles fondamentaux pour d'autres modalités de neuroimagerie et de signaux biologiques. Les modèles fondamentaux émergents pour l'EEG [1, 2, 3, 4, 5] ont montré un potentiel prometteur pour la modélisation et l'analyse de signaux EEG complexes, qui présentent typiquement un faible rapport signal/bruit et une forte variabilité intra- et inter-sujets. Ce n'est que très récemment que des tentatives ont été faites pour développer de tels modèles fondamentaux pour les données fMRI, en exploitant des cohortes à grande échelle afin de modéliser l'activité cérébrale [6, 7, 8, 19].
La plupart de ces travaux développent des modèles pour des modalités uniques de manière isolée, négligeant l'information complémentaire que fournissent les différentes données de neuroimagerie et cliniques. Ainsi, l'intégration et l'analyse de données multimodales peuvent permettre une meilleure compréhension des mécanismes neurologiques sous-jacents qui gouvernent le comportement et la maladie. De plus, les tentatives actuelles, qu'elles soient uni- ou multimodales, se concentrent sur l'apprentissage de représentations à partir des données, en négligeant largement les connaissances préalables issues de ressources structurées en biomédecine ou de graphes de connaissances spécifiques aux maladies. Les ressources biomédicales structurées, qu'il s'agisse de graphes de connaissances spécifiques à des maladies comme la maladie d'Alzheimer ou l'épilepsie, ou d'ontologies spécifiques à l'EEG, pourraient ancrer les sorties des modèles dans des résultats cliniquement explicables.
Ce projet de doctorat se concentrera sur l'intersection des modèles fondamentaux multimodaux et des neurosciences computationnelles, en exploitant des connaissances explicites et structurées. L'objectif est de développer un cadre novateur pour construire des modèles fondamentaux multimodaux pour les neurosciences, à la fois interprétables, ancrés dans les connaissances et applicables.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Advancements in neuroscience build on complex and heterogeneous data ranging from high-temporal-resolution electroencephalography (EEG) and functional/structural magnetic resonance imaging (fMRI/sMRI) to clinical records and genomic profiles. Recent developments in machine learning, particularly deep learning, have enabled the design of large-scale, robust foundation models [22] with strong generalization across data distributions, contexts, and applications. While the biggest focus has been on large language models (LLMs), which have been employed for learning from textual clinical records, several efforts have been made to develop foundation models for other neuroimaging and biosignal modalities. Emerging EEG foundation models [1, 2, 3, 4, 5] have shown promise in modelling and analysing complex EEG signals, which typically exhibit low signal-to-noise ratio and high intra- and inter-subject variability. Only very recently have attempts been made to develop such foundation models for fMRI data, leveraging large-scale cohorts to model brain activity [6, 7, 8, 19].

Most of these efforts develop models for single modalities in isolation, ignoring the complementary information that different neuroimaging and clinical data provide. As such, incorporating and analyzing multimodal data can offer a better understanding of the underlying neurological mechanisms that drive behavior and disease. Moreover, current attempts, be it uni- or multimodal, focus on learning representations from data, largely overlooking prior domain knowledge encoded in structured biomedical and/or disease-specific knowledge graphs. Structured biomedical resources, be it disease-specific knowledge graphs for Alzheimer's and epilepsy, EEG-specific ontologies, could ground model outputs in clinically explainable findings.

This PhD project will focus on the intersection of multimodal foundation models and computational neuroscience, leveraging structured, explicit domain knowledge. The aim is to develop a novel framework for constructing knowledge-grounded, interpretable, and applicable multimodal foundation models for neuroscience.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/

Funding category

Other public funding

Funding further details

Concours IPP ou école membre*Contrat Doctoral E4H*Contrat doctoral Hi!Paris*Demi-allocation ANR IA*