Fusion multimodale sémiotique: quantification de la redondance, de la complémentarité et de la synergie par la décomposition de l'information // semiotic multimodal fusion: quantifying redundancy, complementarity, and synergy through information decompos

Topic description

Ce projet de thèse vise à développer un cadre innovant pour la fusion de données multimodales, fondé sur une approche sémiotique intégrant trois niveaux d'information : syntaxique, sémantique et pragmatique. Alors que les méthodes actuelles se concentrent principalement sur la combinaison des données ou l'alignement des représentations, elles négligent souvent la dimension contextuelle, ce qui limite leur robustesse et leur capacité de généralisation en conditions réelles.

La méthodologie proposée s'appuie sur les réseaux de neurones graphiques (GraphNets) pour modéliser les interactions entre modalités hétérogènes, ainsi que sur la décomposition de l'information partielle (PID) afin de quantifier explicitement la redondance, la complémentarité et la synergie entre les sources de données. Cette approche permet de concevoir des stratégies de fusion adaptées à différents objectifs : robustesse, performance prédictive ou enrichissement de l'inférence.

Le cadre sera validé sur des applications cliniques exigeantes, notamment en imagerie médicale (pronostic de l'AVC), où l'intégration multimodale est essentielle et la variabilité inter-domaines constitue un enjeu majeur.

Les contributions attendues sont :
un cadre théorique unifié pour la fusion multimodale,
de nouvelles métriques et méthodes basées sur la théorie de l'information,
des modèles robustes, interprétables et transférables en pratique.

Ce travail se situe à l'interface entre intelligence artificielle, théorie de l'information et médecine, avec un fort potentiel d'impact scientifique et clinique.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

This PhD project aims to develop a novel framework for multimodal data fusion based on a semiotic perspective, integrating syntactic, semantic, and pragmatic levels of information. While most existing approaches focus on combining raw data or aligning representations, they often neglect the contextual dimension of information, which limits their robustness and transferability in real-world applications.

The proposed methodology relies on Graph Neural Networks (GraphNets) to model heterogeneous modalities and their interactions, combined with Partial Information Decomposition (PID) to explicitly quantify redundancy, complementarity, and synergy between data sources. This allows the design of fusion strategies tailored to specific objectives such as robustness, predictive performance, or enriched inference.

The framework will be validated on clinically relevant tasks, particularly in medical imaging (e.g., stroke outcome prediction), where multimodal data integration is critical and domain variability remains a major challenge.

The expected contributions include:
a unified theoretical framework for multimodal fusion,
novel information-theoretic metrics and learning strategies,
and robust, interpretable models suitable for real-world deployment.

This work lies at the intersection of machine learning, information theory, and medical AI, with strong potential for both scientific and clinical impact.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/09/

Funding category

Funding further details

Contrats ED : Programme blanc GS-ISN