Auto-GNN : Recherche d'architecture neuronnelle de réseaux de neurones graphes

Les réseaux de neurones graphes (GNN) ont été efficacement appliqués au traitement des données structurées en graphe. Dans un contexte donné, l’identification d’une architecture GNN adaptée nécessite généralement une expertise humaine approfondie ainsi que des essais laborieux, en raison de l’impact significatif que les choix des composants de convolution graphique — tels que la fonction d’agrégation ou la dimension cachée — exercent sur les performances de l’architecture. L’algorithme de recherche d’architecture neuronale (NAS) a montré son potentiel dans la découverte d’architectures profondes efficaces pour des tâches d’apprentissage en vision par ordinateur et modélisation du langage. Toutefois, les méthodes NAS existantes ne peuvent pas être directement appliquées au problème de recherche d’architectures GNN. Premièrement, l’espace de recherche des GNN diffère fondamentalement de ceux traités dans les travaux actuels de NAS. Deuxièmement, la capacité d’apprentissage de représentation d’une architecture GNN évolue de manière sensible même avec de légères modifications architecturales, ce qui compromet l’efficacité des méthodes de recherche traditionnelles. Troisièmement, des techniques largement utilisées dans le NAS, telles que le partage de paramètres, peuvent devenir instables dans le cadre des GNN.Pour combler cette lacune, nous proposons le cadre AGNN (Automated Graph Neural Networks), dont l’objectif est de découvrir une architecture GNN optimale dans un espace de recherche prédéfini. Un contrôleur basé sur l’apprentissage par renforcement est conçu pour valider de manière gloutonne les architectures en étapes successives. AGNN introduit une stratégie originale de partage de paramètres, permettant aux architectures homogènes de partager leurs paramètres, fondée sur une définition soigneusement établie d’homogénéité. Des expériences menées sur des jeux de données réels et standards démontrent que l’architecture GNN identifiée par AGNN atteint les meilleures performances par rapport aux modèles manuellement conçus et aux méthodes de recherche traditionnelles.