RAN-GNNs : franchir les limites de capacité des réseaux de neurones sur graphes

Les réseaux de neurones graphiques sont devenus une composante essentielle des approches destinées à l’apprentissage et à l’analyse de données définies sur des graphes. Toutefois, plusieurs résultats suggèrent une difficulté intrinsèque à améliorer les performances en augmentant le nombre de couches. Des travaux récents attribuent ce phénomène à un aspect spécifique à l’extraction des caractéristiques des nœuds dans les tâches basées sur les graphes, à savoir la nécessité de prendre en compte simultanément plusieurs tailles de voisinage et de les ajuster de manière adaptative. Dans cet article, nous étudions les architectures récemment proposées à connexion aléatoire dans le cadre des réseaux de neurones graphiques. Contrairement à la construction de réseaux plus profonds par empilement de nombreuses couches, nous démontrons qu’utiliser une architecture à connexion aléatoire peut constituer une approche plus efficace pour augmenter la capacité du réseau et obtenir des représentations plus riches. Nous montrons que ces architectures se comportent comme un ensemble de chemins, capables de fusionner les contributions provenant de champs réceptifs de tailles variées. En outre, ces champs réceptifs peuvent également être modulés pour devenir plus larges ou plus étroits grâce aux poids entraînables le long des chemins. Nous fournissons également des preuves expérimentales étendues de la supériorité des architectures à connexion aléatoire sur plusieurs tâches et quatre définitions de convolution sur graphes, en utilisant des cadres de benchmarking récents qui adressent la fiabilité des méthodologies d’évaluation précédentes.