Un cadre sémiotique pour la fusion multimodale: intégration pragmatique-sémantique-syntaxique d[...]

Un cadre sémiotique pour la fusion multimodale: intégration pragmatique-sémantique-syntaxique dans le pronostic des accidents vasculaires cérébraux // A Semiotic Framework for Multimodal Fusion: Pragmatic-Semantic-Syntactic Integration in Stroke Prognosi, Évry

Université Paris-Saclay GS Informatique et sciences du numérique

Évry, France

Topic description

La fusion de données multimodales est un domaine de recherche essentiel dans des domaines tels que l'apprentissage automatique, les neurosciences et l'imagerie médicale. Traditionnellement, les stratégies de fusion ont été explorées principalement sous l'angle syntaxique (structural) et sémantique (basé sur le sens). Cependant, la dimension pragmatique, qui saisit l'impact contextuel de l'information, reste largement sous-explorée. Ce projet de doctorat propose un nouveau cadre pour la fusion de données multimodales, fondé sur la théorie sémiotique, classant systématiquement les stratégies de fusion selon les niveaux syntaxique, sémantique et pragmatique. La fusion syntaxique consiste à intégrer des caractéristiques brutes ou de bas niveau, généralement par des méthodes de fusion précoces. La fusion sémantique implique l'alignement de représentations partagées, telles que les espaces d'inclusion ou les mécanismes de co-attention, où le sens devient le fondement de la fusion. La contribution novatrice de cette recherche réside dans la formalisation de la fusion pragmatique, qui saisit la manière dont l'information est transférée et interprétée différemment selon le système ou le contexte récepteur – un principe fondamental de l'adaptation de domaine et de l'apprentissage par transfert.

Topic description

La fusion de données multimodales est un domaine de recherche essentiel dans des domaines tels que l'apprentissage automatique, les neurosciences et l'imagerie médicale. Traditionnellement, les stratégies de fusion ont été explorées principalement sous l'angle syntaxique (structural) et sémantique (basé sur le sens). Cependant, la dimension pragmatique, qui saisit l'impact contextuel de l'information, reste largement sous-explorée. Ce projet de doctorat propose un nouveau cadre pour la fusion de données multimodales, fondé sur la théorie sémiotique, classant systématiquement les stratégies de fusion selon les niveaux syntaxique, sémantique et pragmatique. La fusion syntaxique consiste à intégrer des caractéristiques brutes ou de bas niveau, généralement par des méthodes de fusion précoces. La fusion sémantique implique l'alignement de représentations partagées, telles que les espaces d'inclusion ou les mécanismes de co-attention, où le sens devient le fondement de la fusion. La contribution novatrice de cette recherche réside dans la formalisation de la fusion pragmatique, qui saisit la manière dont l'information est transférée et interprétée différemment selon le système ou le contexte récepteur – un principe fondamental de l'adaptation de domaine et de l'apprentissage par transfert.

Le projet introduit un cadre de décomposition partielle de l'information (DPI) pour opérationnaliser ce modèle théorique. Cette approche classe les stratégies de fusion en fonction de leurs objectifs informationnels: robustesse par redondance, optimisation des performances par complémentarité et enrichissement des inférences par synergie.

Cela concorde avec les nouvelles avancées en neurosciences, où l'intégration multimodale dans le cerveau implique des régions distinctes traitant des signaux redondants et synergiques. Cet alignement avec les modèles biologiques offre une base d'inspiration biologique au cadre proposé.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Multimodal data fusion is a critical area of research across fields such as machine learning, neuroscience, and medical imaging. Traditionally, fusion strategies have been explored primarily through syntactic (structural) and semantic (meaning-based) lenses. However, the pragmatic dimension—which captures the context-dependent impact of information—remains significantly underexplored. This PhD project proposes a novel framework for multimodal data fusion grounded in semiotic theory, systematically classifying fusion strategies into syntactic, semantic, and pragmatic levels. Syntactic fusion deals with integrating raw or low-level features, typically through early fusion methods. Semantic fusion involves the alignment of shared representations, such as embedding spaces or co-attention mechanisms, where meaning becomes the basis of fusion. The novel contribution of this research lies in formalizing pragmatic fusion, which captures how information is transferred and interpreted differently depending on the receiving system or context—a core principle in domain adaptation and transfer learning.

The project introduces a Partial Information Decomposition (PID) framework to operationalize this theoretical model. This approach classifies fusion strategies based on their informational objectives: robustness through redundancy, performance optimization via complementarity, and synergy-based inference enrichment.

This aligns with emerging insights in neuroscience, where multimodal integration in the brain involves distinct regions processing redundant versus synergistic signals. Such alignment with biological models offers a biologically inspired foundation for the proposed framework.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/
WEB :

Funding category

Funding further details

Contrats ED : Programme blanc GS-ISN #J-18808-Ljbffr