GraphNorm : Une Approche Fondée sur des Principes pour Accélérer l'Entraînement des Réseaux de Neurones sur Graphes

La normalisation est connue pour améliorer l’optimisation des réseaux de neurones profonds. Curieusement, différentes architectures nécessitent des méthodes de normalisation spécifiques. Dans cet article, nous étudions quelles formes de normalisation sont efficaces pour les réseaux de neurones sur graphes (GNN). Premièrement, nous adaptons et évaluons les méthodes existantes issues d'autres domaines afin de les appliquer aux GNN. Nous constatons une convergence plus rapide avec InstanceNorm par rapport à BatchNorm et LayerNorm. Nous expliquons ce phénomène en montrant qu’InstanceNorm agit comme un prédiction préconditionneur pour les GNN, tandis que cet effet de préconditionnement est plus faible avec BatchNorm en raison du fort bruit de batch présent dans les jeux de données graphes. Deuxièmement, nous démontrons que l’opération de décalage (shift) dans InstanceNorm entraîne une perte d’expressivité des GNN sur des graphes hautement réguliers. Pour résoudre ce problème, nous proposons GraphNorm, une méthode de normalisation avec un décalage apprenable. Expérimentalement, les GNN utilisant GraphNorm convergent plus rapidement que ceux utilisant d'autres méthodes de normalisation. De plus, GraphNorm améliore la généralisation des GNN, permettant d’obtenir de meilleurs résultats sur des benchmarks de classification de graphes.