Réseau dans les réseaux neuronaux graphes

Les réseaux de neurones graphiques (GNN) ont démontré leur efficacité dans l'apprentissage à partir de données structurées en graphes, intégrant des informations sur les nœuds et les arêtes, avec des applications dans les réseaux sociaux, la recommandation, la détection de fraude et le raisonnement sur les graphes de connaissances. À cet égard, diverses stratégies ont été proposées par le passé afin d'améliorer l'expressivité des GNN. Par exemple, une approche directe consiste à augmenter simplement la taille des paramètres en élargissant la dimension cachée ou en augmentant le nombre de couches GNN. Toutefois, des couches cachées plus larges peuvent facilement entraîner un surapprentissage, tandis que l'ajout progressif de couches GNN peut conduire à un phénomène de sur-lissage. Dans cet article, nous présentons une méthodologie indépendante du modèle, appelée Network In Graph Neural Network (NGNN), permettant à tout modèle GNN d'augmenter sa capacité en le rendant plus profond. Contrairement à l'ajout ou à l'élargissement de couches GNN, NGNN rend un modèle GNN plus profond en insérant une ou plusieurs couches de réseau de neurones feedforward non linéaires à l'intérieur de chaque couche GNN. Une analyse de NGNN appliquée à un modèle de base GraphSage sur les données ogbn-products montre qu'il permet de maintenir la stabilité du modèle face aux perturbations des caractéristiques des nœuds ou de la structure du graphe. De plus, les résultats d'évaluation étendus sur des tâches de classification de nœuds et de prédiction de liens démontrent que NGNN fonctionne de manière fiable sur une large variété d'architectures GNN. Par exemple, NGNN améliore la précision de test de GraphSage sur ogbn-products de 1,6 %, augmente le score hits@100 de SEAL sur ogbl-ppa de 7,08 % et améliore le score hits@20 de GraphSage+Edge-Attr sur ogbl-ppi de 6,22 %. À la date de soumission de ce travail, NGNN a obtenu deux premières places au classement OGB pour la prédiction de liens.