Intégration et exploitation de connaissances en apprentissage profond // integration and exploitation of knowledge in deep learning

Topic description

L'intelligence artificielle symbolique englobe toute approche permettant de représenter des connaissances, de raisonner ou d'apprendre en s'appuyant sur ces connaissances. Son principal atout est sa transparence et sa capacité à interpréter les décisions. Elle souffre cependant de difficultés liées à l'acquisition des connaissances et la capacité d'évoluer ou de s'adapter à un autre contexte. D'autre part, l'apprentissage automatique (Machine Learning) propose des méthodes très puissantes pour apprendre des modèles à partir de données. Cependant il nécessite de grands volumes de données et l'apprentissage sur ces données requiert des capacités de calcul importantes. Un autre problème important est que les méthodes actuelles reposent sur l'apprentissage profond (Deep Learning) et bien qu'elles soient puissantes, manque de transparence et d'explicabilité.
Cette thèse s'inscrit dans le courant des approches neuro-symboliques qui cherchent à coupler IA symbolique et apprentissage profond pour tirer parti des avantages des deux approches. Selon le type de couplage, cela permet de rendre les modèles appris par l'apprentissage profond plus explicables mais aussi plus proches des attentes de l'expert, et donc plus facilement acceptés, car guidés par des connaissances générales ou thématiques. On peut aussi espérer que l'apport des connaissances permettrait un apprentissage nécessitant moins de données, ou moins de données annotées et moins de ressources en termes de calcul (IA frugal).
Nous nous intéressons ici aux approches neuro-symboliques qui intègrent des connaissances exprimées en logique des propositions ou en logique des prédicats, en général pondérées pour gérer l'incertitude. Ces connaissances peuvent être des faits ou des règles et différents modèles de gestion de l'incertitude peuvent être considérés, comme les réseaux bayésiens ou les modèles de Markov. Des approches comme [1,2,3] intègrent des règles données à l'avance, et [4,5] apprennent des règles, cependant ces travaux n'intègrent pas des connaissances préalables.
Nous nous intéressons dans cette thèse à intégrer des connaissances sous forme de règles et à apprendre de nouvelles règles dans le contexte d'une approche neuro-symbolique. Les défis suivants sont considérés :
•Les règles apprises dépendront d'un critère en fonction de l'objectif recherché, par exemple la simplicité d'une explication ou la précision d'une prédiction.
•Les règles apprises doivent être cohérentes par rapport à des connaissances préalables, par exemple des connaissances expertes thématiques à respecter.
•Les règles seront adaptables, en particulier dans le contexte de transfert learning (adaptation du modèle appris à un autre environnement).
•Les règles seront apprises dans un contexte de données multi-modales ou multi-vues, où par exemples des données sont décrites par des attributs catégoriques ou booléens, des données numériques ou des images.
Le travail de thèse vise à développer une méthode générique. Cependant nous envisageons de valider l'approche sur une application concrète en chemo-informatique, à savoir la prédiction d'activité de molécules sur des protéines. Chaque molécule est décrite d'un côté par des attributs booléens exprimant la présence ou non des pharmacophores, et d'autre côté par des activités sur des kinases.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Symbolic artificial intelligence involves approaches that allow the representation of knowledge, reasoning, or learning based on that knowledge. Its main strength lies in its transparency and its ability to interpret decisions. However, it suffers from difficulties related to knowledge acquisition and the capacity to evolve or to adapt to different contexts. On the other hand, machine learning offers very powerful methods for learning models from data. However, it requires large volumes of data, and learning on this data demands significant computing power. Another important problem is that current methods rely on deep learning, and while being powerful, they lack transparency and explainability.

This thesis falls within the field of neuro-symbolic approaches, which seek to combine symbolic AI and deep learning to leverage the advantages of both approaches. Depending on the type of coupling, this makes models learned through deep learning more explainable and closer to expert expectations, and therefore more readily accepted, as they are guided by general or subject-specific knowledge. It is also hoped that the contribution of knowledge would enable learning requiring less data, or less annotated data and fewer computational resources (frugal AI).

We focus on neuro-symbolic approaches that integrate knowledge expressed in propositional logic or first-order logic, generally weighted to manage uncertainty. This knowledge can be facts or rules, and different uncertainty models can be considered, such as Bayesian networks or Markov models. Approaches like [1,2,3] integrate rules given in advance, and [4,5] learn rules; however, these works do not integrate prior knowledge.

In this thesis, we focus on integrating knowledge in the form of rules and learning new rules within a neuro-symbolic approach. The following challenges are considered:
• The learned rules will depend on a criterion based on the desired objective, such as the simplicity of an explanation or the accuracy of a prediction.
• The learned rules must be consistent with prior knowledge, such as expert knowledge.
• The rules will be adaptable, particularly in the context of transfer learning (adapting the learned model to a different environment).
• The rules will be learned in a multi-modal or multi-view data context, for example, with data described by categorical or Boolean attributes, numerical data, or images.

This thesis aims to develop a generic method. However, we plan to validate the approach on a concrete application in chemical informatics, namely the prediction of molecular activity on proteins. Each molecule is described on one side by boolean attributes expressing the presence or absence of pharmacophores, and on the other side by activities on kinases.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/

Funding category

Funding further details

Enseignement supérieur