VQ-GNN : Un Cadre Universel pour Étendre les Réseaux Neuronaux sur Graphes à l'Aide de la Quantification Vectorielle

La plupart des réseaux neuronaux de graphe (RNG) les plus avancés peuvent être définis comme une forme de convolution de graphe qui peut être réalisée par un passage de messages entre les voisins directs ou au-delà. Pour échelonner ces RNG à de grands graphes, diverses techniques d'échantillonnage des voisins, des couches ou des sous-graphes ont été proposées afin d'atténuer le problème de l'« explosion des voisins » en ne considérant qu'un petit sous-ensemble des messages transmis aux nœuds dans un mini-lot. Cependant, les méthodes basées sur l'échantillonnage sont difficiles à appliquer aux RNG qui utilisent des contextes à plusieurs sauts ou globaux à chaque couche, montrent des performances instables pour différentes tâches et jeux de données, et n'accélèrent pas la déduction du modèle.Nous proposons une approche fondamentalement différente et rigoureuse, VQ-RNG, un cadre universel pour échelonner tout RNG basé sur la convolution en utilisant la quantification vectorielle (VQ) sans compromettre les performances. Contrairement aux techniques basées sur l'échantillonnage, notre approche peut efficacement préserver tous les messages transmis à un mini-lot de nœuds en apprenant et en mettant à jour un petit nombre de vecteurs de référence quantifiés représentant les caractéristiques globales des nœuds, en utilisant la VQ au sein de chaque couche du RNG. Notre cadre évite le problème de l'« explosion des voisins » des RNG en combinant des représentations quantifiées avec une version à faible rang de la matrice de convolution du graphe.Nous montrons que cette version compacte et à faible rang de la matrice de convolution massive est suffisante tant sur le plan théorique qu'expérimental. En complément de la VQ, nous concevons un nouvel algorithme approximatif de passage de messages et une règle non triviale de rétropropagation pour notre cadre. Des expériences menées sur différents types d'architectures backbone RNG démontrent l'évolutivité et les performances compétitives de notre cadre sur les benchmarks d'classification des nœuds dans les grands graphes et prédiction des liens.