Eine umfassende Studie zum Training großer Graphen: Benchmarking und Neubewertung

Die großskalige Graphen-Training ist ein äußerst herausforderndes Problem für Graph-Neuronale Netze (GNNs). Aufgrund der dynamischen Natur sich während des Trainings verändernder Graphstrukturen scheitern herkömmliche GNNs meist an einer Skalierung, da sie durch den verfügbaren GPU-Speicher begrenzt sind. Bislang wurden zwar zahlreiche skalierbare GNN-Architekturen vorgeschlagen, doch fehlt es weiterhin an einer umfassenden Übersicht und einem fairen Benchmarking dieser Vielzahl an Ansätzen, um die zugrundeliegenden Prinzipien für die Entwicklung skalierbarer GNNs zu identifizieren. Um diesem Mangel entgegenzuwirken, formulieren wir zunächst die repräsentativen Methoden des großskaligen Graphen-Trainings systematisch in mehrere Kategorien und etablieren anschließend einen fairen und konsistenten Benchmark durch eine gierige Hyperparameter-Suche. Zudem bewerten wir die Effizienz theoretisch hinsichtlich Zeit- und Speicherkomplexität verschiedener Kategorien und vergleichen sie empirisch bezüglich GPU-Speicherbelegung, Durchsatz und Konvergenzverhalten. Darüber hinaus analysieren wir die Vor- und Nachteile der verschiedenen Ansätze für skalierbare GNNs und stellen eine neue ensembling-basierte Trainingsmethode namens EnGCN vor, um bestehende Probleme zu adressieren. Unser Quellcode ist unter https://github.com/VITA-Group/Large_Scale_GCN_Benchmarking verfügbar.