HyperAIHyperAI

Command Palette

Search for a command to run...

DeeperGCN: Alles, was Sie benötigen, um tiefere GCNs zu trainieren

Guohao Li Chenxin Xiong Ali Thabet Bernard Ghanem

Zusammenfassung

Graph Convolutional Networks (GCNs) erregen aufgrund ihrer Fähigkeit zur Repräsentationslernen auf Graphen zunehmend Aufmerksamkeit. Im Gegensatz zu Convolutional Neural Networks (CNNs), die von der Möglichkeit profitieren, sehr tiefe Schichten zu stapeln, leiden GCNs bei tieferen Architekturen an Problemen wie verschwindenden Gradienten, Überglättung und Overfitting. Diese Herausforderungen begrenzen die Repräsentationskraft von GCNs bei großen Graphen. In dieser Arbeit wird DeeperGCN vorgestellt, ein Ansatz, der es ermöglicht, sehr tiefe GCNs erfolgreich und verlässlich zu trainieren. Wir definieren differenzierbare verallgemeinerte Aggregierungsfunktionen, um verschiedene Nachrichtenaggregationsoperationen (z.B. Mittelwert, Maximum) zu vereinheitlichen. Darüber hinaus schlagen wir eine neuartige Normalisierungsschicht vor, die MsgNorm genannt wird, sowie eine präaktivierte Version von Residualverbindungen für GCNs. Ausführliche Experimente am Open Graph Benchmark (OGB) zeigen, dass DeeperGCN die Leistung bei den Aufgaben der Vorhersage von Knoteneigenschaften und Grapheneigenschaften in großem Maßstab signifikant verbessert im Vergleich zum Stand der Technik. Weitere Informationen finden Sie unter https://www.deepgcns.org.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
DeeperGCN: Alles, was Sie benötigen, um tiefere GCNs zu trainieren | Paper | HyperAI