HyperAIHyperAI

Command Palette

Search for a command to run...

DropEdge: Auf dem Weg zu tiefen Graph Convolutional Networks für die Knotenklassifizierung

Yu Rong Wenbing Huang* Tingyang Xu Junzhou Huang

Zusammenfassung

Überanpassung (\emph{over-fitting}) und Überglättung (\emph{over-smoothing}) sind die beiden Haupthindernisse bei der Entwicklung tiefer Graph Convolutional Networks (GCNs) für die Knotenklassifizierung. Insbesondere schwächt Überanpassung die Generalisierungsfähigkeit auf kleinen Datensätzen, während Überglättung das Modelltraining durch die Isolation von Ausgaberepräsentationen von den Eingabe-Features mit zunehmender Netzwerktiefe erschwert. In dieser Arbeit wird DropEdge vorgestellt, eine neuartige und flexible Technik zur Bewältigung beider Probleme. Im Kern entfernt DropEdge bei jeder Trainingsphase zufällig eine bestimmte Anzahl von Kanten aus dem Eingabegraphen, wobei es sowohl als Datenverstärker als auch als Nachrichtenübertragungsreduzierer fungiert. Darüber hinaus zeigen wir theoretisch, dass DropEdge entweder die Konvergenzgeschwindigkeit der Überglättung verlangsamt oder den durch sie verursachten Informationsverlust lindert. Wichtiger noch ist, dass unser DropEdge eine allgemeine Technik ist, die mit vielen anderen Grundmodellen (z.B. GCN, ResGCN, GraphSAGE und JKNet) kombiniert werden kann, um deren Leistung zu verbessern. Umfangreiche Experimente an mehreren Benchmarks bestätigen, dass DropEdge konsistent die Leistung sowohl flacherer als auch tieferer GCNs erhöht. Die Wirkung von DropEdge bei der Verhinderung der Überglättung wird außerdem empirisch visualisiert und validiert. Der Quellcode wurde veröffentlicht unter~\url{https://github.com/DropEdge/DropEdge}.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp