Réseaux de diffusion de graphes adaptatifs

Les réseaux de neurones sur graphes (Graph Neural Networks, GNNs) ont suscité un intérêt croissant dans le domaine de l’apprentissage profond sur graphes. Toutefois, des études récentes, tant empiriques que théoriques, montrent que les GNNs profonds souffrent de problèmes de surajustement (over-fitting) et de sur-lissage (over-smoothing). Les solutions classiques s’avèrent soit incapables de résoudre le temps d’exécution élevé des GNNs profonds, soit restrictives en imposant la convolution sur graphes dans un même espace de caractéristiques. Nous proposons les Réseaux de Diffusion Graphique Adaptatifs (Adaptive Graph Diffusion Networks, AGDNs), qui réalisent une diffusion graphique généralisée multi-couches dans des espaces de caractéristiques différents, tout en maintenant une complexité et un temps d’exécution modérés. Contrairement aux méthodes classiques de diffusion graphique, qui combinent de grandes puissances denses de la matrice de transition avec des coefficients de pondération prédéfinis, les AGDNs combinent des représentations de nœuds à plusieurs sauts plus petites, avec des coefficients de pondération apprenables et généralisés. Nous introduisons deux mécanismes évolutifs pour la pondération, permettant de capturer efficacement les informations à plusieurs sauts : l’Attention par saut (Hop-wise Attention, HA) et la Convolution par saut (Hop-wise Convolution, HC). Nous évaluons les AGDNs sur diverses et exigeantes bases de données du Open Graph Benchmark (OGB), dans des tâches de classification de nœuds semi-supervisée et de prédiction de liens. À la date de soumission (26 août 2022), les AGDNs atteignent la première place sur les jeux de données ogbn-arxiv, ogbn-proteins et ogbl-ddi, et se classent troisièmes sur ogbl-citation2. Sur des cartes GPU Tesla V100 similaires, les AGDNs surpassent les Reversible GNNs (RevGNNs) en réduisant la complexité de 13 % et le temps d’entraînement de 1 % sur le jeu de données ogbn-proteins. Par ailleurs, les AGDNs atteignent des performances comparables à celles de SEAL, tout en nécessitant 36 % du temps d’entraînement et seulement 0,2 % du temps d’inférence de SEAL sur le jeu de données ogbl-citation2.