HyperAIHyperAI

Command Palette

Search for a command to run...

Deeper-GXX: Vertiefung beliebiger GNNs

Lecheng Zheng Dongqi Fu Ross Maciejewski Jingrui He

Zusammenfassung

In jüngster Zeit ist aufgrund realer Anwendungen ein zentrales Forschungsfeld in Graph Neural Networks (GNNs) die Untersuchung tieferer Architekturen. Beispielsweise stimmt die Graph-Verbundenheit nicht immer mit der Label-Verteilung überein (z. B. sind die nächsten Nachbarn bestimmter Knoten nicht immer der gleichen Kategorie zuzuordnen). In solchen Fällen müssen GNNs mehr Schichten stapeln, um über längere Pfade nach Nachbarn derselben Kategorie zu suchen und damit klassendifferenzierende Informationen zu erfassen. Allerdings behindern zwei Hauptprobleme die Leistung tiefer GNNs erheblich: das Verschwinden von Gradienten und das Überglätten (over-smoothing). Auf der einen Seite erschwert das Stapeln von Schichten die Trainierbarkeit des neuronalen Netzwerks, da die Gradienten der ersten Schichten verschwinden. Darüber hinaus stellen wir bei der einfachen Behandlung des Gradientenverschwindens in GNNs einen sogenannten „Shading-Neighbors-Effekt“ fest (d. h., eine unangemessene Schichtstapelung verzerrt die nicht-IID-Struktur von Graphen und verschlechtert die Leistung der GNNs). Auf der anderen Seite aggregieren tiefere GNNs erheblich mehr Information von gemeinsamen Nachbarn, wodurch die Repräsentationen einzelner Knoten immer mehr überlappende Merkmale aufweisen und die endgültigen Ausgaberepräsentationen nicht mehr differenzierend sind (d. h. übermäßig geglättet). In dieser Arbeit behandeln wir erstmals beide Probleme, um tiefere GNNs zu ermöglichen, und stellen Deeper-GXX vor, das aus dem Weight-Decaying Graph Residual Connection-Modul (WDG-ResNet) und dem Topology-Guided Graph Contrastive Loss (TGCL) besteht. Umfangreiche Experimente auf realen Datensätzen zeigen, dass Deeper-GXX die bisher besten tiefen Baselines übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Deeper-GXX: Vertiefung beliebiger GNNs | Paper | HyperAI