HyperAIHyperAI

Command Palette

Search for a command to run...

GResNet : Réseau résiduel graphique pour réveiller les GNNs profonds de l'animation suspendue

Jiawei Zhang Lin Meng

Résumé

Les réseaux de neurones sur graphes (GNN) existants fondés sur l’opérateur de convolution spectrale ont été critiqués pour leur dégradation des performances, un phénomène particulièrement fréquent dans les modèles à architecture profonde. Dans cet article, nous identifions davantage un problème que nous nommons « immobilité suspendue » (suspended animation) affectant les GNN existants. Ce problème survient lorsque la profondeur du modèle atteint une limite critique, au-delà de laquelle le modèle cesse de réagir aux données d’entraînement et devient non apprenable. Une analyse des causes sous-jacentes à ce problème d’immobilité suspendue sera fournie dans cet article, tout en mettant en évidence plusieurs facteurs périphériques susceptibles d’influencer son apparition. Pour résoudre ce problème, nous proposons dans cet article un cadre appelé GResNet (Graph Residual Network), qui établit des voies de connexion étendues permettant d’impliquer les caractéristiques brutes des nœuds ou leurs représentations intermédiaires à travers l’ensemble des couches du modèle. Contrairement aux autres cadres d’apprentissage, les connexions étendues propres aux données de graphe rendent inopérants les méthodes classiques d’apprentissage résiduel. Nous démontrons l’efficacité des nouveaux termes résiduels proposés du point de vue de la préservation de la norme, ce qui permet d’éviter des variations brutales dans les représentations des nœuds entre couches consécutives. Des études détaillées sur l’application du cadre GResNet à plusieurs GNN existants — notamment GCN, GAT et LoopyNet — seront présentées, accompagnées d’expérimentations empiriques approfondies sur des jeux de données de référence du monde réel.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp