Netzwerk im Graph Neural Network

Graph Neural Networks (GNNs) haben sich als effektiv erwiesen, um aus graphstrukturierten Daten mit Knoten- und Kantenmerkmalen zu lernen, was ihre Anwendung in Bereichen wie sozialen Netzwerken, Empfehlungssystemen, Betrugserkennung und Wissensgraph-Schlussfolgerung ermöglicht. In diesem Zusammenhang wurden in der Vergangenheit diverse Strategien vorgeschlagen, um die Ausdruckskraft von GNNs zu verbessern. Ein einfacher Ansatz besteht beispielsweise darin, die Anzahl der Parameter durch Erhöhung der versteckten Dimension oder durch Hinzufügen weiterer GNN-Schichten zu vergrößern. Allerdings können breitere versteckte Schichten leicht zu Überanpassung führen, und die schrittweise Erhöhung der Anzahl von GNN-Schichten kann potenziell zu Überglättung (over-smoothing) führen. In diesem Paper präsentieren wir eine modellunabhängige Methode namens Network in Graph Neural Network (NGNN), die es beliebigen GNN-Modellen ermöglicht, ihre Modellkapazität zu erhöhen, indem das Modell tiefer gestaltet wird. Im Gegensatz zur Erweiterung oder Verbreiterung von GNN-Schichten vertieft NGNN ein GNN-Modell, indem es nichtlineare Feedforward-Neuronale Netze innerhalb jeder GNN-Schicht einfügt. Eine Analyse von NGNN, angewendet auf ein GraphSage-basiertes GNN auf den ogbn-products-Daten, zeigt, dass das Modell stabil gegenüber Störungen in den Knotenmerkmalen oder der Graphstruktur bleibt. Zudem belegen umfassende Bewertungsergebnisse sowohl bei Knotenklassifikation als auch bei Link-Prädiktion, dass NGNN zuverlässig über eine Vielzahl unterschiedlicher GNN-Architekturen hinweg funktioniert. So verbessert NGNN beispielsweise die Testgenauigkeit von GraphSage auf ogbn-products um 1,6 % und erhöht den Hits@100-Score von SEAL auf ogbl-ppa um 7,08 % sowie den Hits@20-Score von GraphSage+Edge-Attr auf ogbl-ppi um 6,22 %. Zu Zeit der Einreichung dieses Papers erreichte NGNN zwei erste Plätze auf der OGB-Link-Prädiktion-Rangliste.