Deeper-GXX: Vertiefung beliebiger GNNs

In jüngster Zeit ist aufgrund realer Anwendungen ein zentrales Forschungsfeld in Graph Neural Networks (GNNs) die Untersuchung tieferer Architekturen. Beispielsweise stimmt die Graph-Verbundenheit nicht immer mit der Label-Verteilung überein (z. B. sind die nächsten Nachbarn bestimmter Knoten nicht immer der gleichen Kategorie zuzuordnen). In solchen Fällen müssen GNNs mehr Schichten stapeln, um über längere Pfade nach Nachbarn derselben Kategorie zu suchen und damit klassendifferenzierende Informationen zu erfassen. Allerdings behindern zwei Hauptprobleme die Leistung tiefer GNNs erheblich: das Verschwinden von Gradienten und das Überglätten (over-smoothing). Auf der einen Seite erschwert das Stapeln von Schichten die Trainierbarkeit des neuronalen Netzwerks, da die Gradienten der ersten Schichten verschwinden. Darüber hinaus stellen wir bei der einfachen Behandlung des Gradientenverschwindens in GNNs einen sogenannten „Shading-Neighbors-Effekt“ fest (d. h., eine unangemessene Schichtstapelung verzerrt die nicht-IID-Struktur von Graphen und verschlechtert die Leistung der GNNs). Auf der anderen Seite aggregieren tiefere GNNs erheblich mehr Information von gemeinsamen Nachbarn, wodurch die Repräsentationen einzelner Knoten immer mehr überlappende Merkmale aufweisen und die endgültigen Ausgaberepräsentationen nicht mehr differenzierend sind (d. h. übermäßig geglättet). In dieser Arbeit behandeln wir erstmals beide Probleme, um tiefere GNNs zu ermöglichen, und stellen Deeper-GXX vor, das aus dem Weight-Decaying Graph Residual Connection-Modul (WDG-ResNet) und dem Topology-Guided Graph Contrastive Loss (TGCL) besteht. Umfangreiche Experimente auf realen Datensätzen zeigen, dass Deeper-GXX die bisher besten tiefen Baselines übertrifft.