Découpler la profondeur et l’étendue des réseaux de neurones sur graphe

Les réseaux de neurones sur graphes (GNN) d'avant-garde présentent des limites de scalabilité en ce qui concerne la taille du graphe et celle du modèle. Sur de grands graphes, l'augmentation de la profondeur du modèle entraîne souvent une expansion exponentielle de la portée (c’est-à-dire du champ réceptif). Au-delà de quelques couches, deux défis fondamentaux émergent : 1. une perte d’expressivité due au phénomène d’oversmoothing, et 2. un coût computationnel élevé causé par l’explosion du voisinage. Nous proposons un principe de conception visant à découpler la profondeur et la portée des GNN : pour générer une représentation d’une entité cible (un nœud ou une arête), nous extrayons d’abord un sous-graphe localisé comme portée de taille bornée, puis appliquons un GNN de profondeur arbitraire sur ce sous-graphe. Un sous-graphe correctement extrait ne contient qu’un petit nombre de voisins critiques, tout en éliminant les voisins non pertinents. Le GNN, quelle que soit sa profondeur, lisse le voisinage local en une représentation informative, plutôt que de lisser de manière excessive l’ensemble du graphe en « bruit blanc ». Théoriquement, ce découplage améliore la puissance expressive des GNN selon trois angles : traitement du signal sur graphe (GCN), approximation fonctionnelle (GraphSAGE) et apprentissage topologique (GIN). Expérimentalement, sur sept graphes (jusqu’à 110 millions de nœuds) et six architectures de GNN de base, notre approche permet une amélioration significative de la précision, accompagnée d’une réduction d’un ordre de grandeur des coûts computationnels et matériels.