Amélioration des Réseaux de Neurones sur Graphes grâce à une Conception d'Architecture Simple

Les réseaux de neurones graphiques (GNN) se sont imposés comme un outil puissant pour apprendre à partir de données en introduisant des contraintes supplémentaires fondées sur la structure du graphe. Ces graphes sont généralement construits en supposant des relations intrinsèques entre les entités. Ces dernières années, les progrès dans la conception d’architectures ont considérablement amélioré les performances sur diverses tâches de prédiction. En général, ces architectures neuronales combinent une profondeur de couches et des étapes d’agrégation des caractéristiques des nœuds. Cette combinaison rend difficile l’analyse de l’importance des caractéristiques à différentes étapes (hops) ainsi que de l’expressivité des couches du réseau neuronal. Étant donné que différents jeux de données graphiques présentent des niveaux variables d’homophilie et d’hétérophilie dans la répartition des caractéristiques et des étiquettes de classe, il devient essentiel de comprendre quelles caractéristiques sont pertinentes pour les tâches de prédiction, sans aucune information a priori. Dans ce travail, nous décomposons l’étape d’agrégation des caractéristiques des nœuds et la profondeur du GNN, et introduisons plusieurs stratégies clés de conception pour les réseaux de neurones graphiques. Plus précisément, nous proposons d’utiliser la fonction softmax comme régularisateur et d’implémenter un « Sélecteur doux » (Soft-Selector) pour les caractéristiques agrégées provenant des voisins à différentes distances (hops) ; ainsi qu’une normalisation par étape (Hop-Normalization) au sein des couches du GNN. En combinant ces techniques, nous présentons un modèle simple et peu profond, appelé Feature Selection Graph Neural Network (FSGNN), et montrons empiriquement que ce modèle dépasse les autres architectures de pointe en matière de GNN, atteignant jusqu’à une amélioration de 64 % en précision sur des tâches de classification de nœuds. En outre, l’analyse des paramètres d’agrégation douce appris par le modèle offre une méthode simple pour étudier l’importance relative des caractéristiques dans les tâches de prédiction. Enfin, nous démontrons expérimentalement que le modèle est évolutive et scalable à de très grandes structures graphiques, comptant des millions de nœuds et des milliards d’arêtes.