HyperAIHyperAI

Command Palette

Search for a command to run...

Eine umfassende Studie zum Training großer Graphen: Benchmarking und Neubewertung

Keyu Duan Zirui Liu Peihao Wang Wenqing Zheng Kaixiong Zhou Tianlong Chen Xia Hu Zhangyang Wang

Zusammenfassung

Die großskalige Graphen-Training ist ein äußerst herausforderndes Problem für Graph-Neuronale Netze (GNNs). Aufgrund der dynamischen Natur sich während des Trainings verändernder Graphstrukturen scheitern herkömmliche GNNs meist an einer Skalierung, da sie durch den verfügbaren GPU-Speicher begrenzt sind. Bislang wurden zwar zahlreiche skalierbare GNN-Architekturen vorgeschlagen, doch fehlt es weiterhin an einer umfassenden Übersicht und einem fairen Benchmarking dieser Vielzahl an Ansätzen, um die zugrundeliegenden Prinzipien für die Entwicklung skalierbarer GNNs zu identifizieren. Um diesem Mangel entgegenzuwirken, formulieren wir zunächst die repräsentativen Methoden des großskaligen Graphen-Trainings systematisch in mehrere Kategorien und etablieren anschließend einen fairen und konsistenten Benchmark durch eine gierige Hyperparameter-Suche. Zudem bewerten wir die Effizienz theoretisch hinsichtlich Zeit- und Speicherkomplexität verschiedener Kategorien und vergleichen sie empirisch bezüglich GPU-Speicherbelegung, Durchsatz und Konvergenzverhalten. Darüber hinaus analysieren wir die Vor- und Nachteile der verschiedenen Ansätze für skalierbare GNNs und stellen eine neue ensembling-basierte Trainingsmethode namens EnGCN vor, um bestehende Probleme zu adressieren. Unser Quellcode ist unter https://github.com/VITA-Group/Large_Scale_GCN_Benchmarking verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Eine umfassende Studie zum Training großer Graphen: Benchmarking und Neubewertung | Paper | HyperAI