DeeperGCN: Alles, was Sie benötigen, um tiefere GCNs zu trainieren

Graph Convolutional Networks (GCNs) erregen aufgrund ihrer Fähigkeit zur Repräsentationslernen auf Graphen zunehmend Aufmerksamkeit. Im Gegensatz zu Convolutional Neural Networks (CNNs), die von der Möglichkeit profitieren, sehr tiefe Schichten zu stapeln, leiden GCNs bei tieferen Architekturen an Problemen wie verschwindenden Gradienten, Überglättung und Overfitting. Diese Herausforderungen begrenzen die Repräsentationskraft von GCNs bei großen Graphen. In dieser Arbeit wird DeeperGCN vorgestellt, ein Ansatz, der es ermöglicht, sehr tiefe GCNs erfolgreich und verlässlich zu trainieren. Wir definieren differenzierbare verallgemeinerte Aggregierungsfunktionen, um verschiedene Nachrichtenaggregationsoperationen (z.B. Mittelwert, Maximum) zu vereinheitlichen. Darüber hinaus schlagen wir eine neuartige Normalisierungsschicht vor, die MsgNorm genannt wird, sowie eine präaktivierte Version von Residualverbindungen für GCNs. Ausführliche Experimente am Open Graph Benchmark (OGB) zeigen, dass DeeperGCN die Leistung bei den Aufgaben der Vorhersage von Knoteneigenschaften und Grapheneigenschaften in großem Maßstab signifikant verbessert im Vergleich zum Stand der Technik. Weitere Informationen finden Sie unter https://www.deepgcns.org.