VQ-GNN: Ein universelles Framework zur Skalierung von Graph Neural Networks durch Vektorquantisierung
Die meisten modernsten Graph Neural Networks (GNNs) können als eine Form von Graph-Faltung definiert werden, die durch Nachrichtenaustausch zwischen direkten Nachbarn oder darüber hinaus realisiert werden kann. Um solche GNNs auf große Graphen zu skalieren, wurden verschiedene Nachbarschafts-, Schicht- oder Untergraphen-Abtasttechniken vorgeschlagen, um das Problem der „Nachbarschaftsexplosion“ zu lindern, indem nur eine kleine Teilmenge der an die Knoten in einem Minibatch übermittelten Nachrichten berücksichtigt wird. Allerdings sind abtastbasierte Methoden schwer anwendbar auf GNNs, die in jeder Schicht viele Hops entfernte oder globale Kontexte nutzen, zeigen instabile Leistung bei verschiedenen Aufgaben und Datensätzen und beschleunigen das Modell-Inferenz nicht. Wir schlagen einen grundsätzlich anderen Ansatz vor: VQ-GNN, ein universelles Framework zur Skalierung beliebiger faltungsbasierter GNNs unter Verwendung von Vektorquantisierung (VQ), ohne dabei die Leistung zu beeinträchtigen. Im Gegensatz zu abtastbasierten Techniken kann unser Ansatz alle an einen Minibatch von Knoten übermittelten Nachrichten effektiv bewahren, indem er eine kleine Anzahl quantisierter Referenzvektoren globaler Knotendarstellungen lernt und aktualisiert, wobei innerhalb jeder GNN-Schicht VQ verwendet wird. Unser Framework vermeidet das Problem der „Nachbarschaftsexplosion“ von GNNs durch die Kombination quantisierter Darstellungen mit einer niedrigrangigen Version der Graph-Faltungs-Matrix. Wir zeigen sowohl theoretisch als auch experimentell, dass eine solche kompakte niedrigrangige Version der riesigen Faltungs-Matrix ausreichend ist. Neben VQ entwickeln wir einen neuen approximativen Nachrichtenaustauschalgorithmus sowie eine nichttriviale Rückpropagationsregel für unser Framework. Experimente mit verschiedenen Arten von GNN-Kernarchitekturen demonstrieren die Skalierbarkeit und wettbewerbsfähige Leistung unseres Frameworks bei Benchmarks für Node-Klassifikation und Link-Vorhersage in großen Graphen.