Réseaux de neurones graphiques avec des représentations structurelles et positionnelles apprenables

Les réseaux de neurones graphes (GNN) sont devenus les architectures d'apprentissage standard pour les graphes. Ils ont été appliqués à de nombreux domaines, allant de la chimie quantique aux systèmes de recommandation, en passant par les graphes de connaissances et le traitement du langage naturel. Un problème majeur lié aux graphes arbitraires réside dans l’absence d’information positionnelle canonique des nœuds, ce qui limite la capacité des GNN à distinguer, par exemple, des nœuds isomorphes ou d’autres symétries du graphe. Une approche pour atténuer ce problème consiste à introduire une Encodage Positionnel (PE) des nœuds, qu’on injecte ensuite dans la couche d’entrée, comme dans les Transformers. Parmi les possibles encodages positionnels pour les graphes, on trouve les vecteurs propres de la matrice laplacienne. Dans ce travail, nous proposons de décomposer les représentations structurelles et positionnelles afin de faciliter l’apprentissage par le réseau de ces deux propriétés essentielles. Nous introduisons une nouvelle architecture générique que nous appelons LSPE (Learnable Structural and Positional Encodings). Nous étudions plusieurs GNNs à faible densité et des GNNs entièrement connectés (du type Transformers), et observons une amélioration des performances sur des jeux de données moléculaires, allant de 1,79 % à 64,14 %, lorsque l’on utilise des encodages positionnels apprenables pour les deux catégories de GNN.