Réseaux de neurones profonds universels GNN : Repenser la connexion résiduelle dans les GNN à partir d'une perspective de décomposition de chemin pour prévenir le sur-lissage

La performance des réseaux de neurones graphes (GNNs) se dégrade avec leur profondeur en raison du phénomène de sur-lissage. Parmi les différentes approches visant à prévenir ce sur-lissage, la connexion résiduelle s’impose comme une méthode prometteuse en raison de sa simplicité. Toutefois, des études récentes ont montré que les GNNs munis de connexions résiduelles ne ralentissent que légèrement la dégradation de leurs performances. La raison pour laquelle les connexions résiduelles échouent dans les GNNs reste encore inconnue. Dans ce travail, nous analysons, à partir d’une perspective originale basée sur une décomposition par chemins, le comportement à l’avant et à l’arrière des GNNs dotés de connexions résiduelles. Nous constatons que l’agrégation récursive des chemins de longueur médiane, issus d’une distribution binomiale des chemins résiduels, domine la représentation de sortie, entraînant ainsi un sur-lissage lorsque les GNNs deviennent plus profonds. La propagation entrelacée et les matrices de poids provoquent un lissage du gradient, empêchant les GNNs à connexion résiduelle d’atteindre une mise en correspondance identité. À partir de ces observations, nous proposons un cadre généralisé pour les GNNs profonds, appelé UDGNN, intégrant des connexions résiduelles adaptatives au démarrage (DRIVE) et des modules en avant. Des expériences étendues démontrent l’efficacité de notre méthode, qui atteint des résultats de pointe sur des jeux de données hétérophiles non lissés en se contentant de superposer des GNNs standards.