Ordered GNN: Ordnung des Message Passing zur Bewältigung von Heterophilie und Over-smoothing

Die meisten Graphen-Neuralen Netze folgen dem Nachrichtenübertragungsmechanismus. Allerdings leidet dieser bei mehrfacher Anwendung auf einem Graphen unter dem sogenannten Over-Smoothing-Problem, wodurch die Knotenrepräsentationen ununterscheidbar werden und das Modell daran hindert, effektiv Abhängigkeiten zwischen entfernt liegenden Knoten zu lernen. Andererseits werden Merkmale benachbarter Knoten mit unterschiedlichen Labels häufig fälschlicherweise vermischt, was das sogenannte Heterophily-Problem verursacht. In dieser Arbeit schlagen wir vor, die Nachrichtenübertragung in die Knotenrepräsentation zu ordnen, indem spezifische Neuronenblöcke gezielt für die Nachrichtenübertragung innerhalb bestimmter Hop-Entfernungen vorgesehen werden. Dies wird erreicht, indem die Hierarchie des Wurzelbaums eines zentralen Knotens mit der geordneten Struktur der Neuronen in seiner Knotenrepräsentation ausgerichtet wird. Experimentelle Ergebnisse auf einer umfangreichen Reihe von Datensätzen zeigen, dass unser Modell sowohl in homophilen als auch in heterophilen Szenarien gleichzeitig die derzeit beste Leistung erzielt, ohne dass spezielle Designentscheidungen für jeweils eine dieser Szenarien notwendig sind. Zudem bleibt die Leistung des Modells bei sehr tiefen Architekturen stabil und vermeidet effektiv das Over-Smoothing-Problem. Schließlich zeigt die Visualisierung der Gating-Vektoren, dass unser Modell sich in homophilen und heterophilen Szenarien unterschiedlich verhält, wodurch ein erklärbares Graphen-Neuronales Netz entsteht.