Vers des Réseaux de Neurones Graphiques Plus Approfondis

Les réseaux de neurones graphiques ont connu un succès notable dans le domaine de l'apprentissage des représentations de graphes. Les convolutions de graphe effectuent une agrégation des voisins et constituent l'une des opérations graphiques les plus importantes. Toutefois, une seule couche de ces méthodes d'agrégation de voisinage ne prend en compte que les voisins immédiats, et les performances diminuent lorsque l'on augmente la profondeur afin d'élargir le champ réceptif. Plusieurs études récentes attribuent cette dégradation des performances au phénomène de sur-lissage, selon lequel une propagation répétée rend les représentations des nœuds de classes différentes indiscernables. Dans ce travail, nous étudions systématiquement cette observation et proposons de nouvelles perspectives pour concevoir des réseaux de neurones graphiques plus profonds. Premièrement, nous fournissons une analyse systématique de ce problème et soutenons que le facteur clé compromettant fortement les performances est l’entrelacement entre la transformation des représentations et la propagation dans les opérations de convolution de graphe actuelles. En découpant ces deux opérations, il devient possible d’utiliser des réseaux de neurones graphiques plus profonds pour apprendre des représentations de nœuds à partir de champs réceptifs plus étendus. Nous fournissons par la suite une analyse théorique de cette observation dans le cadre de la construction de modèles très profonds, offrant ainsi une description rigoureuse et nuancée du phénomène de sur-lissage. Sur la base de nos analyses théoriques et empiriques, nous proposons Deep Adaptive Graph Neural Network (DAGNN), une architecture capable d’incorporer de manière adaptative des informations provenant de champs réceptifs larges. Des expériences menées sur des jeux de données de citations, de co-auteurship et de co-achat confirment notre analyse et nos insights, et démontrent l’efficacité supérieure de la méthode proposée.