Régularisation simple de GNN pour la prédiction des propriétés moléculaires en 3D et au-delà

Dans cet article, nous démontrons que la régularisation simple par le bruit peut être une méthode efficace pour résoudre le problème de sur-lissage des GNN (Graph Neural Networks). Tout d'abord, nous soutenons que les régularisateurs visant à atténuer le sur-lissage doivent non seulement pénaliser la similarité latente entre les nœuds, mais aussi encourager des représentations nodales significatives. À partir de cette observation, nous avons développé « Noisy Nodes » (Nœuds Bruyants), une technique simple consistant à corrompre le graphe d'entrée avec du bruit et à ajouter une perte au niveau des nœuds pour corriger ce bruit. La perte diversifiée au niveau des nœuds favorise la diversité latente des nœuds, tandis que l'objectif de débruitage encourage l'apprentissage de la variété du graphe. Notre régularisateur applique des méthodes bien étudiées de manière simple et directe, permettant même aux architectures génériques de surmonter le sur-lissage et d'obtenir des résultats de pointe dans les tâches de chimie quantique, ainsi que d'améliorer considérablement les résultats sur les ensembles de données du Open Graph Benchmark (OGB). Nos résultats suggèrent que Noisy Nodes peut servir de bloc complémentaire dans la boîte à outils des GNN.