HyperAIHyperAI

Command Palette

Search for a command to run...

GraphNorm: Ein begründeter Ansatz zur Beschleunigung des Trainings von Graph Neural Networks

Tianle Cai Shengjie Luo Keyulu Xu Di He Tie-Yan Liu Liwei Wang

Zusammenfassung

Die Normalisierung ist bekannt dafür, die Optimierung tiefer neuronaler Netze zu unterstützen. Kurioserweise erfordern unterschiedliche Architekturen spezialisierte Normalisierungsmethoden. In diesem Paper untersuchen wir, welche Normalisierung für Graphneuronale Netze (GNNs) effektiv ist. Zunächst adaptieren und evaluieren wir bestehende Methoden aus anderen Domänen für GNNs. Im Vergleich zu BatchNorm und LayerNorm erreichen wir eine schnellere Konvergenz mit InstanceNorm. Wir erklären dies damit, dass InstanceNorm als Preconditioner für GNNs wirkt, während dieser Preconditioning-Effekt bei BatchNorm aufgrund des starken Batch-Rauschens in Graph-Datensätzen schwächer ausgeprägt ist. Zweitens zeigen wir, dass die Shift-Operation in InstanceNorm zu einer Reduktion der Ausdruckskraft von GNNs bei hochregulären Graphen führt. Um dieses Problem zu beheben, schlagen wir GraphNorm mit einem lernbaren Shift vor. Empirisch konvergieren GNNs mit GraphNorm schneller als solche, die andere Normalisierungsverfahren verwenden. Zudem verbessert GraphNorm die Generalisierungsfähigkeit von GNNs und erzielt eine bessere Leistung auf Benchmark-Aufgaben zum Graphenklassifizieren.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp