HyperAIHyperAI

Command Palette

Search for a command to run...

VQ-GNN: Ein universelles Framework zur Skalierung von Graph Neural Networks durch Vektorquantisierung

Mucong Ding; Kezhi Kong; Jingling Li; Chen Zhu; John P Dickerson; Furong Huang; Tom Goldstein

Zusammenfassung

Die meisten modernsten Graph Neural Networks (GNNs) können als eine Form von Graph-Faltung definiert werden, die durch Nachrichtenaustausch zwischen direkten Nachbarn oder darüber hinaus realisiert werden kann. Um solche GNNs auf große Graphen zu skalieren, wurden verschiedene Nachbarschafts-, Schicht- oder Untergraphen-Abtasttechniken vorgeschlagen, um das Problem der „Nachbarschaftsexplosion“ zu lindern, indem nur eine kleine Teilmenge der an die Knoten in einem Minibatch übermittelten Nachrichten berücksichtigt wird. Allerdings sind abtastbasierte Methoden schwer anwendbar auf GNNs, die in jeder Schicht viele Hops entfernte oder globale Kontexte nutzen, zeigen instabile Leistung bei verschiedenen Aufgaben und Datensätzen und beschleunigen das Modell-Inferenz nicht. Wir schlagen einen grundsätzlich anderen Ansatz vor: VQ-GNN, ein universelles Framework zur Skalierung beliebiger faltungsbasierter GNNs unter Verwendung von Vektorquantisierung (VQ), ohne dabei die Leistung zu beeinträchtigen. Im Gegensatz zu abtastbasierten Techniken kann unser Ansatz alle an einen Minibatch von Knoten übermittelten Nachrichten effektiv bewahren, indem er eine kleine Anzahl quantisierter Referenzvektoren globaler Knotendarstellungen lernt und aktualisiert, wobei innerhalb jeder GNN-Schicht VQ verwendet wird. Unser Framework vermeidet das Problem der „Nachbarschaftsexplosion“ von GNNs durch die Kombination quantisierter Darstellungen mit einer niedrigrangigen Version der Graph-Faltungs-Matrix. Wir zeigen sowohl theoretisch als auch experimentell, dass eine solche kompakte niedrigrangige Version der riesigen Faltungs-Matrix ausreichend ist. Neben VQ entwickeln wir einen neuen approximativen Nachrichtenaustauschalgorithmus sowie eine nichttriviale Rückpropagationsregel für unser Framework. Experimente mit verschiedenen Arten von GNN-Kernarchitekturen demonstrieren die Skalierbarkeit und wettbewerbsfähige Leistung unseres Frameworks bei Benchmarks für Node-Klassifikation und Link-Vorhersage in großen Graphen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp