GResNet : Réseau résiduel graphique pour réveiller les GNNs profonds de l'animation suspendue

Les réseaux de neurones sur graphes (GNN) existants fondés sur l’opérateur de convolution spectrale ont été critiqués pour leur dégradation des performances, un phénomène particulièrement fréquent dans les modèles à architecture profonde. Dans cet article, nous identifions davantage un problème que nous nommons « immobilité suspendue » (suspended animation) affectant les GNN existants. Ce problème survient lorsque la profondeur du modèle atteint une limite critique, au-delà de laquelle le modèle cesse de réagir aux données d’entraînement et devient non apprenable. Une analyse des causes sous-jacentes à ce problème d’immobilité suspendue sera fournie dans cet article, tout en mettant en évidence plusieurs facteurs périphériques susceptibles d’influencer son apparition. Pour résoudre ce problème, nous proposons dans cet article un cadre appelé GResNet (Graph Residual Network), qui établit des voies de connexion étendues permettant d’impliquer les caractéristiques brutes des nœuds ou leurs représentations intermédiaires à travers l’ensemble des couches du modèle. Contrairement aux autres cadres d’apprentissage, les connexions étendues propres aux données de graphe rendent inopérants les méthodes classiques d’apprentissage résiduel. Nous démontrons l’efficacité des nouveaux termes résiduels proposés du point de vue de la préservation de la norme, ce qui permet d’éviter des variations brutales dans les représentations des nœuds entre couches consécutives. Des études détaillées sur l’application du cadre GResNet à plusieurs GNN existants — notamment GCN, GAT et LoopyNet — seront présentées, accompagnées d’expérimentations empiriques approfondies sur des jeux de données de référence du monde réel.