GResNet: Graph Residual Network zur Wiederbelebung tiefer GNNs aus der suspendierten Animation

Die bestehenden graphenbasierten neuronalen Netze (GNNs), die auf dem spektralen Graphen-Faltungsoperator basieren, wurden wegen einer Leistungsverschlechterung kritisiert, die insbesondere bei tiefen Architekturen häufig auftritt. In dieser Arbeit identifizieren wir weiterhin das sogenannte „Suspended Animation“-Problem, das bei bestehenden GNNs auftritt. Dieses Problem tritt auf, wenn die Modelltiefe die sogenannte „Suspended Animation-Grenze“ erreicht, wodurch das Modell auf die Trainingsdaten nicht mehr reagiert und somit nicht mehr lernbar wird. In diesem Beitrag werden die Ursachen des Suspended-Animation-Problems analysiert, wobei auch mehrere weitere, die Problematik beeinflussende Faktoren diskutiert werden. Um dieses Problem zu lösen, führen wir im Rahmen dieser Arbeit den GResNet-(Graph Residual Network)-Rahmen ein, der umfassend verbundene „Highways“ schafft, um die ursprünglichen Merkmale oder Zwischenrepräsentationen der Knoten über alle Schichten des Modells hinweg einzubeziehen. Im Gegensatz zu anderen Lernansätzen führen die umfassenden Verbindungen in graphenbasierten Daten dazu, dass herkömmliche einfache Residual-Lernmethoden nicht mehr wirken. Wir beweisen die Wirksamkeit der neu eingeführten graphenbasierten Residual-Terme aus der Perspektive der Normerhaltung, was dazu beiträgt, drastische Veränderungen der Knotenrepräsentationen zwischen aufeinanderfolgenden Schichten zu vermeiden. In der Arbeit werden detaillierte Untersuchungen zum GResNet-Rahmen für zahlreiche bestehende GNN-Architekturen wie GCN, GAT und LoopyNet vorgestellt, ergänzt durch umfangreiche empirische Experimente auf realen Benchmark-Datensätzen.