Repenser et redesigner les réseaux de neurones graphes dans les espaces des fonctionnelles de diffusion continue de graphes

Les réseaux de neurones graphiques (GNNs) sont largement utilisés dans des domaines tels que les réseaux sociaux et les systèmes biologiques. Toutefois, l’hypothèse de localité des GNNs, qui limite l’échange d’information aux nœuds voisins, entrave leur capacité à capturer les dépendances à longue portée et les motifs globaux dans les graphes. Pour remédier à ce problème, nous proposons une nouvelle biais inductif fondé sur une analyse variationnelle, inspiré du problème de la brachistochrone. Notre cadre établit une correspondance entre les modèles discrets GNN et des fonctionnelles de diffusion continues. Cela permet de concevoir des fonctions objectifs spécifiques aux applications dans le domaine continu, ainsi que de construire des modèles profonds discrets avec des garanties mathématiques. Afin de lutter contre le phénomène de sur-lissage (over-smoothing) dans les GNNs, nous analysons les modèles existants de représentation graphique par couches et identifions qu’ils sont équivalents à des fonctionnels intégraux de norme l² des gradients graphiques, ce qui entraîne le sur-lissage. De manière similaire aux filtres préservant les bords dans le débruitage d’images, nous introduisons la variation totale (TV) afin d’aligner le schéma de diffusion graphique avec les topologies communautaires globales. En outre, nous proposons un mécanisme sélectif pour traiter le compromis entre la profondeur du modèle et le sur-lissage, facilement intégrable dans les GNNs existants. Par ailleurs, nous introduisons un nouveau réseau adversaire génératif (GAN) qui prédit les flux de propagation dans les graphes à travers une équation de transport neuronale. Pour atténuer la disparition des flux (vanishing flows), nous adaptons la fonction objectif afin de minimiser le transport à l’intérieur de chaque communauté tout en maximisant les flux entre les communautés. Nos modèles GNN atteignent des performances de pointe (SOTA) sur des benchmarks populaires d’apprentissage sur graphes tels que Cora, Citeseer et Pubmed.