HyperAIHyperAI

Command Palette

Search for a command to run...

VQ-GNN : Un Cadre Universel pour Étendre les Réseaux Neuronaux sur Graphes à l'Aide de la Quantification Vectorielle

Mucong Ding; Kezhi Kong; Jingling Li; Chen Zhu; John P Dickerson; Furong Huang; Tom Goldstein

Résumé

La plupart des réseaux neuronaux de graphe (RNG) les plus avancés peuvent être définis comme une forme de convolution de graphe qui peut être réalisée par un passage de messages entre les voisins directs ou au-delà. Pour échelonner ces RNG à de grands graphes, diverses techniques d'échantillonnage des voisins, des couches ou des sous-graphes ont été proposées afin d'atténuer le problème de l'« explosion des voisins » en ne considérant qu'un petit sous-ensemble des messages transmis aux nœuds dans un mini-lot. Cependant, les méthodes basées sur l'échantillonnage sont difficiles à appliquer aux RNG qui utilisent des contextes à plusieurs sauts ou globaux à chaque couche, montrent des performances instables pour différentes tâches et jeux de données, et n'accélèrent pas la déduction du modèle.Nous proposons une approche fondamentalement différente et rigoureuse, VQ-RNG, un cadre universel pour échelonner tout RNG basé sur la convolution en utilisant la quantification vectorielle (VQ) sans compromettre les performances. Contrairement aux techniques basées sur l'échantillonnage, notre approche peut efficacement préserver tous les messages transmis à un mini-lot de nœuds en apprenant et en mettant à jour un petit nombre de vecteurs de référence quantifiés représentant les caractéristiques globales des nœuds, en utilisant la VQ au sein de chaque couche du RNG. Notre cadre évite le problème de l'« explosion des voisins » des RNG en combinant des représentations quantifiées avec une version à faible rang de la matrice de convolution du graphe.Nous montrons que cette version compacte et à faible rang de la matrice de convolution massive est suffisante tant sur le plan théorique qu'expérimental. En complément de la VQ, nous concevons un nouvel algorithme approximatif de passage de messages et une règle non triviale de rétropropagation pour notre cadre. Des expériences menées sur différents types d'architectures backbone RNG démontrent l'évolutivité et les performances compétitives de notre cadre sur les benchmarks d'classification des nœuds dans les grands graphes et prédiction des liens.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
VQ-GNN : Un Cadre Universel pour Étendre les Réseaux Neuronaux sur Graphes à l'Aide de la Quantification Vectorielle | Articles | HyperAI