Mélange d'experts rencontre la transmission de messages décorrélée : vers une classification de nœuds générale et adaptative

Les réseaux neuronaux de graphe (GNN) excellent dans l'apprentissage de représentations de graphe mais rencontrent des difficultés avec les données hétérophiles et les dépendances à longue portée. Les transformateurs de graphe, quant à eux, abordent ces problèmes grâce à l'auto-attention, mais font face aux défis d'évolutivité et de bruit sur des graphes de grande échelle. Pour surmonter ces limitations, nous proposons GNNMoE, une architecture de modèle universelle pour la classification des nœuds. Cette architecture combine de manière flexible des opérations de passage de messages à grain fin avec un mécanisme de mélange d'experts pour construire des blocs d'encodage de caractéristiques. De plus, en intégrant des couches de filtrage douces et rigides pour attribuer les réseaux d'experts les plus appropriés à chaque nœud, nous améliorons la puissance expressive et l'adaptabilité du modèle à différents types de graphes. Nous introduisons également des connexions résiduelles adaptatives et un module FFN amélioré dans GNNMoE, ce qui renforce encore davantage l'expressivité de la représentation des nœuds. Des résultats expérimentaux exhaustifs montrent que GNNMoE se distingue particulièrement bien sur divers types de données graphiques, atténuant efficacement le problème d'over-smoothing et le bruit global, tout en améliorant la robustesse et l'adaptabilité du modèle, tout en assurant une efficacité computationnelle sur des graphes de grande échelle.