Gradient Gating für tiefes Multi-Rate-Lernen auf Graphen

Wir präsentieren Gradient Gating (G$^2$), einen neuartigen Rahmen zur Verbesserung der Leistung von Graph Neural Networks (GNNs). Unser Ansatz basiert auf der Gating-Modulation der Ausgaben von GNN-Schichten mittels eines Mechanismus für die mehrfach gestufte Übertragung von Nachrichteninformationen zwischen den Knoten des zugrundeliegenden Graphen. Lokale Gradienten werden zusätzlich genutzt, um die Aktualisierungen bei der Nachrichtenübertragung weiter zu modulieren. Unser Rahmen ermöglicht es flexibel, jede grundlegende GNN-Schicht als Wrapper zu verwenden, um den mehrstufigen Gradienten-Gating-Mechanismus darauf aufzubauen. Wir beweisen rigoros, dass G$^2$ das Überglättungsproblem (oversmoothing) verringert und die Entwicklung tiefer GNNs ermöglicht. Empirische Ergebnisse zeigen, dass der vorgeschlagene Ansatz auf einer Vielzahl von Graph-Lernaufgaben, einschließlich großer heterophiler Graphen, state-of-the-art-Leistungen erzielt.