Universelle tiefe GNNs: Neubewertung der Residual-Verbindung in GNNs aus Sicht der Pfadzerlegung zur Vermeidung der Überglättung

Die Leistung von GNNs verschlechtert sich mit zunehmender Tiefe aufgrund von Over-Smoothing. Unter den verschiedenen Ansätzen zur Vermeidung von Over-Smoothing stellt die Residual-Verbindung aufgrund ihrer Einfachheit eine vielversprechende Methode dar. Allerdings haben jüngste Studien gezeigt, dass GNNs mit Residual-Verbindungen die Degeneration lediglich geringfügig verlangsamen. Der Grund dafür, dass Residual-Verbindungen in GNNs versagen, ist bisher unklar. In diesem Paper untersuchen wir das Vorwärts- und Rückwärtsverhalten von GNNs mit Residual-Verbindungen aus einer neuartigen Perspektive der Pfadzerlegung. Wir stellen fest, dass die rekursive Aggregation der mittleren Pfadlängen aus der Binomialverteilung der Residual-Pfade die Ausgaberepräsentation dominiert und somit zu Over-Smoothing führt, je tiefer die GNN wird. Verzahnte Propagation und Gewichtsmatrizen verursachen eine Gradienten-Smoothing und verhindern, dass GNNs mit Residual-Verbindungen sich der Identitätsabbildung optimieren. Aufgrund dieser Erkenntnisse präsentieren wir einen universellen Framework für tiefe GNNs (UDGNN) mit kaltgestarteten, adaptiven Residual-Verbindungen (DRIVE) sowie Feedforward-Module. Umfangreiche Experimente belegen die Wirksamkeit unseres Ansatzes, der durch einfaches Stapeln standardmäßiger GNNs Zustand-des-Kunst-Ergebnisse auf nicht-glatten, heterophilen Datensätzen erzielt.