DropEdge: Auf dem Weg zu tiefen Graph Convolutional Networks für die Knotenklassifizierung

Überanpassung (\emph{over-fitting}) und Überglättung (\emph{over-smoothing}) sind die beiden Haupthindernisse bei der Entwicklung tiefer Graph Convolutional Networks (GCNs) für die Knotenklassifizierung. Insbesondere schwächt Überanpassung die Generalisierungsfähigkeit auf kleinen Datensätzen, während Überglättung das Modelltraining durch die Isolation von Ausgaberepräsentationen von den Eingabe-Features mit zunehmender Netzwerktiefe erschwert. In dieser Arbeit wird DropEdge vorgestellt, eine neuartige und flexible Technik zur Bewältigung beider Probleme. Im Kern entfernt DropEdge bei jeder Trainingsphase zufällig eine bestimmte Anzahl von Kanten aus dem Eingabegraphen, wobei es sowohl als Datenverstärker als auch als Nachrichtenübertragungsreduzierer fungiert. Darüber hinaus zeigen wir theoretisch, dass DropEdge entweder die Konvergenzgeschwindigkeit der Überglättung verlangsamt oder den durch sie verursachten Informationsverlust lindert. Wichtiger noch ist, dass unser DropEdge eine allgemeine Technik ist, die mit vielen anderen Grundmodellen (z.B. GCN, ResGCN, GraphSAGE und JKNet) kombiniert werden kann, um deren Leistung zu verbessern. Umfangreiche Experimente an mehreren Benchmarks bestätigen, dass DropEdge konsistent die Leistung sowohl flacherer als auch tieferer GCNs erhöht. Die Wirkung von DropEdge bei der Verhinderung der Überglättung wird außerdem empirisch visualisiert und validiert. Der Quellcode wurde veröffentlicht unter~\url{https://github.com/DropEdge/DropEdge}.