HyperAIHyperAI

Command Palette

Search for a command to run...

GraphNorm : Une Approche Fondée sur des Principes pour Accélérer l'Entraînement des Réseaux de Neurones sur Graphes

Tianle Cai Shengjie Luo Keyulu Xu Di He Tie-Yan Liu Liwei Wang

Résumé

La normalisation est connue pour améliorer l’optimisation des réseaux de neurones profonds. Curieusement, différentes architectures nécessitent des méthodes de normalisation spécifiques. Dans cet article, nous étudions quelles formes de normalisation sont efficaces pour les réseaux de neurones sur graphes (GNN). Premièrement, nous adaptons et évaluons les méthodes existantes issues d'autres domaines afin de les appliquer aux GNN. Nous constatons une convergence plus rapide avec InstanceNorm par rapport à BatchNorm et LayerNorm. Nous expliquons ce phénomène en montrant qu’InstanceNorm agit comme un prédiction préconditionneur pour les GNN, tandis que cet effet de préconditionnement est plus faible avec BatchNorm en raison du fort bruit de batch présent dans les jeux de données graphes. Deuxièmement, nous démontrons que l’opération de décalage (shift) dans InstanceNorm entraîne une perte d’expressivité des GNN sur des graphes hautement réguliers. Pour résoudre ce problème, nous proposons GraphNorm, une méthode de normalisation avec un décalage apprenable. Expérimentalement, les GNN utilisant GraphNorm convergent plus rapidement que ceux utilisant d'autres méthodes de normalisation. De plus, GraphNorm améliore la généralisation des GNN, permettant d’obtenir de meilleurs résultats sur des benchmarks de classification de graphes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp