Approches anisotropes en traitement du signal sur graphe. application aux réseaux de neurones sur graphe. // anisotropic approaches in graph signal processing. application to graph neural networks.

Topic description

Le traitement du signal sur graphe repose sur les propriétés d'un opérateur élémentaire généralement associé à une notion de marche aléatoire / processus de diffusion. Une limite de ces approches est que l'opérateur est systématiquement isotrope, propriété qui est transmise à toute notion de filtrage basée dessus. En traitement du signal multidimensionnel (images, vidéo, etc), on utilise au contraire énormément les filtres non-isotropes (voire qui ne prennent en compte qu'une seule direction) ce qui augmente très fortement les possibilités. Ces filtres non-isotropes sont en particulier l'élément de base des réseaux de neurones convolutionnels dont on se doute qu'ils seraient moins performants avec uniquement des filtres isotropes (i.e. réponse impulsionnelle à symétrie circulaire/sphérique). L'isotropie des filtres est à l'heure actuelle aussi considérée comme un frein majeur à l'expressivité des réseaux de neurones convolutionnels sur graphe, qui pourrait être levé à l'aide de constructions non-isotropes de traitement du signal sur graphe. Au-delà des graphes homogènes, les opérateurs utilisés pour le traitement du signal ou les réseaux de neurones sur des graphes bipartites ou plus généralement hétérogènes ont aussi cette propriété d'isotropie où les voisins d'un nœud sont traités de manière identique. Bien qu'il n'y ait pas cette fois de lien évident avec des approches classiques, la notion d'opérateur anisotrope ou directionnel semble là aussi pertinente pour différencier le traitement selon les multiples facettes qui peuvent contribuer à une relation donnée.

Pour aborder la notion de directionnalité dans les graphes, on s'appuiera notamment sur le fait qu'un graphe peut bien souvent être vu comme la discrétisation d'une variété Riemanienne. On étudiera aussi une extension aux graphes bipartites, qui présentent des similarités avec une relation entre deux variétés, ainsi qu'aux graphes hétérogènes qui sont formés de plusieurs relations. Des applications aux réseaux de neurones sur graphes seront envisagées afin d'explorer le gain de flexibilité apporté par la directionnalité.


------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Signal processing on graphs is based on the properties of an elementary operator generally associated with a notion of random walk / diffusion process. One limitation of these approaches is that the operator is systematically isotropic, a property that is passed on to any notion of filtering based on it. In multi-dimensional signal processing (images, video, etc), on the other hand, non-isotropic filters (or even filters that only take one direction into account) are used extensively, which greatly increases the possibilities. These non-isotropic filters are, in particular, the basic element of convolutional neural networks, which would likely have poorer performance with isotropic filters alone (i.e. impulse response with circular/spherical symmetry). The isotropy of the filters is also currently considered to be a major obstacle to the expressiveness of convolutional neural networks on graphs, which could be overcome using non-isotropic signal processing constructions on graphs. In addition to homogeneous graphs, operators used for signal processing or neural networks on bipartite or more generally heterogeneous graphs also have this property of isotropy where the neighbours of a node are treated identically. Although this time there is no obvious link with classical approaches, the notion of anisotropic or directional operator also seems relevant here to differentiate processing according to the multiple facets that can contribute to a given relationship.

To approach the concept of directionality in graphs, we will rely on the fact that a graph can often be viewed as a discretization of a Riemannian manifold. We will also examine extensions to bipartite graphs, which share similarities with a relationship between two manifolds, as well as heterogeneous graphs composed of multiple relations. Applications to graph neural networks will be explored to investigate the flexibility gained through directionality.



------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Pôle fr : Direction de la Recherche Technologique
Pôle en : Technological Research
Département : Département d’Instrumentation Numérique
Service : Service Monitoring, Contrôle et Diagnostic
Laboratoire : Laboratoire Instrumentation Intelligente, Distribuée et Embarquée
Date de début souhaitée : 01-09-
Directeur de thèse : BORGNAT Pierre
Organisme : CNRS / ENS Lyon
Laboratoire : Laboratoire de physique de l’ENS Lyon, UMR CNRS

Funding category

Public/private mixed funding

Funding further details