Réseaux Neuronaux Spatio-Spectraux sur les Graphes

Les réseaux neuronaux graphiques à passage de messages spatiaux (MPGNNs) sont largement utilisés pour l'apprentissage sur des données structurées en graphe. Cependant, les principales limitations des MPGNNs à l'étape sont que leur « champ de réception » est généralement limité au voisinage l-sauts d'un nœud et que l'échange d'informations entre des nœuds éloignés est limité par le sur-étirement (over-squashing). Motivés par ces limitations, nous proposons les réseaux neuronaux graphiques spatio-spectraux (S$^2$GNNs) — un nouveau paradigme de modélisation pour les réseaux neuronaux graphiques (GNNs) qui combine de manière synergie des filtres graphiques paramétrés spatialement et spectralement. Le paramétrage partiel des filtres dans le domaine fréquentiel permet une propagation globale et efficace de l'information. Nous montrons que les S$^2$GNNs surmontent le sur-étirement et offrent des bornes d'erreur strictement plus serrées en théorie de l'approximation que les MPGNNs. De plus, repenser les convolutions graphiques à un niveau fondamental ouvre de nouveaux espaces de conception. Par exemple, les S$^2$GNNs permettent des codages positionnels gratuits qui les rendent strictement plus expressifs que le test 1-Weisfeiler-Lehman (WL). En outre, pour obtenir des S$^2$GNNs polyvalents, nous proposons des filtres paramétrés spectralement pour les graphes orientés. Les S$^2$GNNs surpassent les MPGNNs spatiaux, les transformateurs graphiques et les réécritures de graphe, par exemple sur les tâches de benchmark à longue portée des peptides, et sont compétitifs avec la modélisation séquentielle de pointe. Sur une carte GPU de 40 Go, les S$^2$GNNs peuvent être mis à l'échelle jusqu'à plusieurs millions de nœuds.