HyperAIHyperAI

Command Palette

Search for a command to run...

Réseaux de Convolution Graphique Basés sur Mamba : Lutter contre le Sur-lissage par l'Espace d'État Sélectif

Xin He Yili Wang Wenqi Fan Xu Shen Xin Juan Rui Miao Xin Wang

Résumé

Les réseaux neuronaux sur graphes (GNNs) ont connu un grand succès dans diverses tâches d'apprentissage basées sur des graphes. Cependant, ils sont souvent confrontés au problème de l'over-smoothing lorsque la profondeur du modèle augmente, ce qui entraîne la convergence de toutes les représentations de nœuds vers une seule valeur et les rend indiscernables. Ce problème découle des limitations inhérentes des GNNs, qui peinent à distinguer l'importance des informations provenant de différents voisinages. Dans cet article, nous présentons MbaGCN, une nouvelle architecture de convolution sur graphe inspirée du paradigme Mamba, initialement conçu pour la modélisation de séquences. MbaGCN propose un nouveau squelette pour les GNNs, composé de trois éléments clés : la Couche d'Aggrégation des Messages, la Couche de Transition Sélective dans l'Espace d'États (Selective State Space Transition Layer), et la Couche de Prédiction de l'État des Nœuds. Ces composants fonctionnent en synergie pour aggréger adaptivement les informations du voisinage, offrant ainsi plus de flexibilité et d'évolutivité aux modèles GNN profonds. Bien que MbaGCN ne surpasse pas nécessairement toutes les méthodes existantes sur chaque jeu de données, il fournit un cadre fondamental qui démontre l'intégration efficace du paradigme Mamba dans l'apprentissage des représentations graphiques. À travers des expériences approfondies sur des jeux de données de référence, nous montrons que MbaGCN ouvre la voie à d'avenir progrès dans la recherche sur les réseaux neuronaux sur graphes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp