Gestion de l'incertitude dans les modèles d'ia ontologiquement explicables // uncertainty management in ontologically explainable ai models

Topic description

Ces dernières années ont été marquées par une large démocratisation de solutions basées sur l'apprentissage automatique (ML, Machine Learning), en particulier l'apprentissage profond (DL, Deep Learning). Bien que ces outils aient démontré leur efficacité dans de nombreuses tâches, leur opacité soulève des interrogations quant à la confiance qu'on peut leur accorder et met en évidence le besoin de solutions permettant d'en interpréter le fonctionnement. Cette problématique s'inscrit au cœur du mouvement de l'XAI (eXplainable AI) [1].

De nombreux travaux en XAI proposent des méthodes d'explication sans considérer explicitement les destinataires de ces explications. Des études récentes montrent que certaines approches d'XAI, telles que les cartes de saillance, peuvent fournir des indices utiles aux spécialistes de l'IA sans être adaptées à l'ensemble des acteurs [2], ce qui souligne la nécessité de concevoir des explications différenciées selon les profils d'utilisateurs. Cette thèse s'intéresse ainsi à la création de méthodes d'XAI destinées aux experts du domaine d'application.

La conception d'XAI du point de vue des experts du domaine constitue encore une question de recherche ouverte. Les approches doivent fournir des explications compréhensibles pour ces utilisateurs, permettant de saisir la sémantique des entités manipulées et le raisonnement sous-jacent menant à la prédiction. Le défi est ainsi de concevoir des systèmes d'IA explicables capables de combler l'écart sémantique entre les représentations internes des modèles et celles mobilisées pour expliquer leurs décisions. Dans cette perspective, cette thèse s'intéresse aux approches neuro-symboliques, proposant des modèles hybrides combinant apprentissage automatique et IA symbolique, capables de traiter des données non structurées tout en visant une interprétabilité fondée sur des règles proches du raisonnement humain [3].

Cette thèse vise à explorer une approche neuro-symbolique et ontologique [4, 5]. Une ontologie permet de représenter la sémantique du domaine ainsi qu'une formalisation du raisonnement sous forme de concepts et de règles, notamment en logique de description. Cette approche est particulièrement intéressante du point de vue de l'explicabilité, dans la mesure où l'inférence ontologique constitue un processus déductif traçable, opérant à un niveau d'abstraction proche du domaine et pouvant être expliqué. Cependant, ce type de raisonnement reste sensible aux incertitudes affectant les concepts, les règles de l'ontologie ainsi que leur identification à partir des données.

Pour répondre à ces défis, plusieurs pistes peuvent être envisagées. L'une d'elles repose sur les logiques probabilistes [6], dont le potentiel est prometteur. Toutefois, les travaux existants ne se sont généralement pas encore focalisés sur la génération d'explications adaptées aux utilisateurs, et la question de l'interprétabilité de ces approches pour des utilisateurs non spécialistes de l'IA reste posée [7, 8]. Une autre voie repose sur une approche non probabiliste, fondée sur la similarité sémantique au sein des ontologies. En situation d'incertitude, elle vise à proposer une prédiction candidate tout en expliquant clairement les raisons. Cependant, cette approche reste fortement dépendante de l'ontologie et des mesures de similarité choisies, ce qui interroge sa capacité de généralisation.

Cette thèse vise à explorer ces problématiques et à étudier ces différentes voies afin de concevoir des modèles d'IA ontologiquement explicables intégrant l'incertitude et produisant des explications adaptées aux experts du domaine. Elle pourra également inclure le développement et l'évaluation d'XUI (eXplainable User Interfaces), afin de permettre aux utilisateurs d'interagir avec les prédictions et les explications associées. Un domaine d'application privilégié sera la vision par ordinateur, notamment la classification à grain fin (FGIC).
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

In recent years, there has been a widespread democratization of solutions based on machine learning (ML), in particular deep learning (DL). Although these tools have demonstrated their effectiveness across many tasks, their opacity raises questions regarding the level of trust that can be placed in them and highlights the need for solutions that enable interpreting their functioning. This issue lies at the core of the eXplainable AI (XAI) movement [1].

Many works in XAI propose explanation methods without explicitly considering the recipients of these explanations. Recent studies show that some XAI approaches, such as saliency maps, can provide useful insights to AI specialists while not being suitable for all stakeholders, thus highlighting the need to design explanations tailored to different user profiles [2]. This thesis therefore focuses on the development of XAI methods intended for domain experts.

Designing XAI from the perspective of domain experts remains an open research question.
Approaches must provide explanations that are understandable to these users, enabling them to grasp the semantics of the manipulated entities and the underlying decision process leading to the prediction. The challenge is thus to design explainable AI systems capable of bridging the semantic gap between the internal representations of models and those used to explain their decisions. In this context, this thesis focuses on neuro-symbolic approaches, which propose hybrid models combining machine learning and symbolic AI, capable of processing unstructured data while aiming at interpretability grounded in rules close to human reasoning [3].

This thesis aims to explore a neuro-symbolic and ontological approach [4, 5]. An ontology makes it possible to represent domain semantics as well as a formalization of reasoning in terms of concepts and rules, notably using description logics. This approach is particularly relevant from an explainability perspective, as ontological inference constitutes a traceable deductive process, operating at a level of abstraction close to the domain and that can be explained.
However, this type of reasoning remains sensitive to uncertainties affecting concepts, ontology rules, and their identification from data.

To address these challenges, several directions can be envisaged. One of them relies on probabilistic logics, whose potential is promising [6]. However, existing works have generally not yet focused on generating user-adapted explanations, and the interpretability of these approaches for non-AI specialists remains an open question [7, 8]. Another direction relies on a non-probabilistic approach, based on semantic similarity within ontologies.
In situations of uncertainty, it aims to propose a candidate prediction while clearly explaining the underlying reasons. However, this approach remains strongly dependent on the ontology and the chosen similarity measures, which raises questions about its ability to generalize.

This thesis aims to explore these issues and to investigate these different directions in order to design ontologically explainable AI models that integrate uncertainty and produce explanations adapted to domain experts. It will also include the development of eXplainable User Interfaces (XUI), designed in coherence with the types of generated explanations, as well as quantitative and qualitative evaluations assessing both predictive performance and the adequacy of the explanations with respect to the needs of domain experts. A primary application domain will be computer vision, notably fine-grained classification (FGIC).
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/

Funding category

Funding further details

Plan Investissement d'Avenir (Idex, Labex)