GraphNorm: Ein begründeter Ansatz zur Beschleunigung des Trainings von Graph Neural Networks

Die Normalisierung ist bekannt dafür, die Optimierung tiefer neuronaler Netze zu unterstützen. Kurioserweise erfordern unterschiedliche Architekturen spezialisierte Normalisierungsmethoden. In diesem Paper untersuchen wir, welche Normalisierung für Graphneuronale Netze (GNNs) effektiv ist. Zunächst adaptieren und evaluieren wir bestehende Methoden aus anderen Domänen für GNNs. Im Vergleich zu BatchNorm und LayerNorm erreichen wir eine schnellere Konvergenz mit InstanceNorm. Wir erklären dies damit, dass InstanceNorm als Preconditioner für GNNs wirkt, während dieser Preconditioning-Effekt bei BatchNorm aufgrund des starken Batch-Rauschens in Graph-Datensätzen schwächer ausgeprägt ist. Zweitens zeigen wir, dass die Shift-Operation in InstanceNorm zu einer Reduktion der Ausdruckskraft von GNNs bei hochregulären Graphen führt. Um dieses Problem zu beheben, schlagen wir GraphNorm mit einem lernbaren Shift vor. Empirisch konvergieren GNNs mit GraphNorm schneller als solche, die andere Normalisierungsverfahren verwenden. Zudem verbessert GraphNorm die Generalisierungsfähigkeit von GNNs und erzielt eine bessere Leistung auf Benchmark-Aufgaben zum Graphenklassifizieren.