Comment trouver votre quartier amical : conception d'attention graphique avec auto-supervision

L’attention dans les réseaux neuronaux sur graphes est conçue pour attribuer des poids plus élevés aux nœuds voisins importants, afin d’améliorer la représentation des nœuds. Toutefois, la nature des informations apprises par l’attention graphique reste mal comprise, en particulier dans le cas de graphes bruités. Dans cet article, nous proposons un modèle amélioré d’attention graphique auto-supervisée, appelé SuperGAT, spécifiquement conçu pour les graphes bruités. Plus précisément, nous exploitons deux formes d’attention compatibles avec une tâche auto-supervisée de prédiction d’arêtes, dont la présence ou l’absence contient une information intrinsèque sur l’importance des relations entre les nœuds. En codant les arêtes, SuperGAT apprend une attention plus expressive, capable de mieux distinguer les voisins mal liés. Nous constatons que deux caractéristiques du graphe influencent l’efficacité des formes d’attention et de l’auto-supervision : l’homophilie et le degré moyen. Par conséquent, notre recette fournit une orientation pratique pour choisir la conception d’attention en fonction de ces deux caractéristiques du graphe. Nos expérimentations sur 17 jeux de données réels montrent que notre recette se généralise à 15 d’entre eux, et que les modèles conçus selon cette recette surpassent les modèles de référence en termes de performance.