HyperAIHyperAI

Command Palette

Search for a command to run...

Mélange d'experts rencontre la transmission de messages décorrélée : vers une classification de nœuds générale et adaptative

Xuanze Chen Jiajun Zhou Shanqing Yu Qi Yuan

Résumé

Les réseaux neuronaux de graphe (GNN) excellent dans l'apprentissage de représentations de graphe mais rencontrent des difficultés avec les données hétérophiles et les dépendances à longue portée. Les transformateurs de graphe, quant à eux, abordent ces problèmes grâce à l'auto-attention, mais font face aux défis d'évolutivité et de bruit sur des graphes de grande échelle. Pour surmonter ces limitations, nous proposons GNNMoE, une architecture de modèle universelle pour la classification des nœuds. Cette architecture combine de manière flexible des opérations de passage de messages à grain fin avec un mécanisme de mélange d'experts pour construire des blocs d'encodage de caractéristiques. De plus, en intégrant des couches de filtrage douces et rigides pour attribuer les réseaux d'experts les plus appropriés à chaque nœud, nous améliorons la puissance expressive et l'adaptabilité du modèle à différents types de graphes. Nous introduisons également des connexions résiduelles adaptatives et un module FFN amélioré dans GNNMoE, ce qui renforce encore davantage l'expressivité de la représentation des nœuds. Des résultats expérimentaux exhaustifs montrent que GNNMoE se distingue particulièrement bien sur divers types de données graphiques, atténuant efficacement le problème d'over-smoothing et le bruit global, tout en améliorant la robustesse et l'adaptabilité du modèle, tout en assurant une efficacité computationnelle sur des graphes de grande échelle.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp