Mesure et atténuation du problème de sur-lissage pour les réseaux de neurones sur graphes vue du point de la topologie

Les réseaux de neurones sur graphes (GNNs) ont atteint des performances prometteuses sur une large gamme de tâches basées sur les graphes. Malgré leurs succès, une limitation majeure des GNNs réside dans le problème de sur-lissage (représentations indiscernables des nœuds appartenant à des classes différentes). Dans ce travail, nous présentons une étude systématique et quantitative du phénomène de sur-lissage dans les GNNs. Tout d’abord, nous introduisons deux métriques quantitatives, MAD et MADGap, pour mesurer respectivement le degré de lissage et celui de sur-lissage des représentations des nœuds du graphe. Ensuite, nous démontrons que le lissage est une caractéristique intrinsèque des GNNs, et que le facteur critique conduisant au sur-lissage est un faible rapport signal-bruit dans les messages reçus par les nœuds, un paramètre partiellement déterminé par la topologie du graphe. Enfin, nous proposons deux méthodes pour atténuer le problème du sur-lissage du point de vue topologique : (1) MADReg, qui ajoute un régularisateur basé sur MADGap à la fonction objectif d’entraînement ; (2) AdaGraph, qui optimise la topologie du graphe en fonction des prédictions du modèle. Des expériences étendues menées sur 7 jeux de données graphes largement utilisés, avec 10 modèles GNNs typiques, montrent que les deux méthodes proposées sont efficaces pour atténuer le sur-lissage, améliorant ainsi les performances de divers modèles GNNs.