Doctorant f/h de quoi rêvent les gnn? méthode d'interprétabilité basée sur l'extraction de motifs

Contexte et atouts du poste

Dans le cadre d’un partenariat (vous pouvez choisir entre)

1. public avec ANR

Mission confiée

Contexte

Les GNN (Graph Neural Network) [1] sont des réseaux de neurones particulièrement populaires actuellement car ils permettent de traiter des données de type graphes (ex: réseaux sociaux, molécules, graphes de connaissances,etc.).
Ces approches sont devenues l'état de l'art pour des tâches comme la prédiction de lien ou la classification de graphes, avec des résultats impressionnants par rapport aux approches antérieures. Toutefois comme les autres approches s'appuyant sur des réseaux de neurones, les décisions des GNN ne sont pas inteprétables : il est quasiment impossible pour un expert humain de comprendre ce qui a conduit à cette décision.

Contrairement aux approches de réseaux de neurones classiques (i.e., prenant en entrée du texte ou des images) pour lesquelles de nombreuses méthodes d'explicabilité existent [2,3], peu de travaux se sont intéressés aux cas des graphes. Dans [4] une approche d'explicabilité pour les GNN utilisant la fouille de motifs [5] a été proposée. Cette méthode a la particularité de s'appuyer directement sur les composantes activées pendant la prise de décision du GNN, extrayant des motifs appelés "règles d'activation". Ces règles d'activation sont ensuite reliées aux données graphes d'entrée, permettant de générer des explications sous forme de sous-graphes.

Cette méthode préliminaire a plusieurs limitations. En premier lieu, les règles d’activation ne sont extraites que pour une couche donnée du GNN, limitant leur expressivité. De plus, les non-activations ne sont pas prises en compte alors qu’elles peuvent cruciales pour expliquer une décision. L’autre limitation importante est la trop grande quantité de règles d'activation générées, liée à la nature combinatoire l’approche d’extraction. Il faut donc une mesure de qualité pour en sélectionner un sous-ensemble pertinent. La mesure utilisée actuellement par la méthode est basée sur des propriétés statistiques de l'ensemble de règles d'activation, mais ne fait pas le lien entre les règles et les parties des graphes d'entrée auxquelles elles correspondent.

Objectif de la thèse

L’objectif de la thèse est de fournir aux utilisateurs humains des explications riches, précises et compréhensibles des décisions d’un GNN. Dans un premier temps le travail de la thèse se focalisera sur l’expressivité des règles d’activation extraites du GNN. On souhaite ainsi développer une méthode extrayant des règles d’activation de composantes à partir d’un nombre arbitraire de couches du GNN, et prenant en compte aussi bien les activations que les non activations (e.g., patterns négatifs [6]).

Cela conduira à l’exploration d’un espace immense de règles potentielles, l’approche proposée devra donc retourner un petit sous-ensemble des règles les plus pertinentes pour expliquer la décision du GNN. Pour cela, des méthodes basées sur la Théorie de l’Information (en particulier le principe de longueur de description minimale [7]) seront étudiées.

Une dernière contribution théorique sera l’étude des approches de « traduction » de ces règles d’activation expressives vers l’espace des graphes d’entrée, afin de fournir des explications compréhensibles basées sur des éléments des graphes d’entrée. Les applications envisagées sont d’une part les graphes de molécules chimiques, et d’autre part les graphes de connaissance du web sémantique. La piste envisagée pour effectuer une traduction robuste entre les règles d’activation et les graphes d’entrée est d'exploiter la connaissance stockée dans des LLM pour capturer une partie de la sémantique du domaine des graphes d’entrée.

[1] F. Scarselli, M. Gori, A. C. Tsoi, M. Hagenbuchner, G. Monfardini. The Graph Neural Network Model. In IEEE Transactions on Neural Networks, vol. 20, no. 1, pp. 61-80 .

[2] M. Túlio Ribeiro, S. Singh, C. Guestrin. “Why Should I Trust You?": Explaining the Predictions of Any Classifier. KDD 2016: 1135-1144

[3] Scott M. Lundberg, Su-In Lee: A Unified Approach to Interpreting Model Predictions. NIPS 2017: 4765-4774

[4] L. Veyrin-Forrer, A. Kamal, S. Duffner, M. Plantevit, C. Robardet. On GNN explainability with activation rules. Data Min Knowl Disc .

[5] C. Aggarwal, J. Han. Frequent Pattern Mining. Springer, Cham .

[6] T. Guyet, R. Quiniou. NegPSpan: efficient extraction of negative sequential patterns with embedding constraints. Data Min. Knowl. Discov. 34: 563-609

[7] P. Grünwald. The Minimum Description Length Principle. The MIT Press

Principales activités

Principales activés :

2. Développer des programmes
3. Concevoir des plateformes expérimentales
4. Rédiger des articles
5. Tester, modifier jusqu’à valider
6. Diffuser les travaux via des publications et des exposés
7. Présenter l’avancée des travaux aux partenaires

Compétences

Le candidat ou la candidate devra avoir une appétence pour le machine learning en général et en particulier les réseaux de neurones, les statistiques, l'algorithmique et la programmation.

Avantages

8. Restauration subventionnée
9. Transports publics remboursés partiellement
10. Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
11. Possibilité de télétravail (après 6 mois d'ancienneté) et aménagement du temps de travail
12. Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
13. Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
14. Accès à la formation professionnelle

Rémunération

Salaire brut : 2200€