Das Kombinieren von Label Propagation und einfachen Modellen übertrifft Graph Neuronale Netze

Graphen-neuronale Netze (GNNs) sind die vorherrschende Technik zum Lernen auf Graphen. Es gibt jedoch relativ wenig Verständnis dafür, warum GNNs in der Praxis erfolgreich sind und ob sie für eine gute Leistung notwendig sind. In dieser Arbeit zeigen wir, dass für viele Standard-Benchmarks zur transduktiven Knotenklassifizierung wir die Leistung der neuesten GNNs übertreffen oder gleichkommen können, indem wir flache Modelle kombinieren, die die Graphstruktur ignorieren, mit zwei einfachen Nachbearbeitungsschritten, die Korrelationen in der Labelstruktur ausnutzen: (i) eine „Fehlerkorrelation“, die Residuumsfehler in den Trainingsdaten verbreitet, um Fehler in den Testdaten zu korrigieren, und (ii) eine „Vorhersagekorrelation“, die die Vorhersagen auf den Testdaten glättet. Wir bezeichnen diesen Gesamtprozess als Korrigieren und Glätten (C&S), wobei die Nachbearbeitungsschritte durch einfache Modifikationen der standardmäßigen Labelpropagationstechniken aus frühen graphbasierten semi-überwachten Lernmethoden implementiert werden. Unser Ansatz übertrefft oder nähert sich fast der Leistung der neuesten GNNs bei einer Vielzahl von Benchmarks, wobei er nur einen kleinen Bruchteil der Parameter verwendet und um mehrere Größenordnungen schneller ist. Zum Beispiel übertreffen wir die beste bekannte GNN-Leistung im OGB-Produkte-Datensatz mit 137-mal weniger Parametern und mehr als 100-mal kürzerer Trainingszeit. Die Leistung unserer Methoden unterstreicht, wie das direkte Einbeziehen von Labelinformation in den Lernalgorithmus (wie es in traditionellen Techniken geschehen ist) leichte und erhebliche Leistungsverbesserungen bringt. Wir können unsere Techniken auch in große GNN-Modelle integrieren, was moderate Verbesserungen bietet. Unser Code für die OGB-Ergebnisse befindet sich unter https://github.com/Chillee/CorrectAndSmooth.