Mischung von Experten trifft auf decoupled Message Passing: Auf dem Weg zu allgemeiner und anpassungsfähiger Knotenklassifizierung

Graph Neural Networks (GNNs) zeichnen sich durch ihre Fähigkeit im Lernen von Graphrepräsentationen aus, haben jedoch Schwierigkeiten mit heterophilen Daten und langen Abhängigkeiten. Graph-Transformers lösen diese Probleme durch Selbst-Aufmerksamkeit (self-attention), stoßen aber bei großen Graphen auf Skalierungs- und Rauschprobleme. Um diese Einschränkungen zu überwinden, schlagen wir GNNMoE vor, eine universelle Modellarchitektur für die Klassifizierung von Knoten. Diese Architektur kombiniert flexibel feingranulare Nachrichtenübertragungsoperationen mit einem Mischung-von-Experten-Mechanismus (mixture-of-experts mechanism), um Merkmalscodierungsbloecke zu bilden. Zudem verbessern wir die Ausdrucksstärke und Anpassungsfähigkeit des Modells an verschiedene Graphentypen, indem wir weiche und harte Gating-Schichten einsetzen, um das passendste Expertennetzwerk jedem Knoten zuzuordnen. Des Weiteren führen wir adaptive Residualverbindungen und ein erweitertes FFN-Modul in GNNMoE ein, was die Ausdrucksstärke der Knotenrepräsentation weiter erhöht. Umfangreiche experimentelle Ergebnisse zeigen, dass GNNMoE auf verschiedenen Arten von Graphdaten außergewöhnlich gut abschneidet, das Überglättungsproblem (over-smoothing issue) und globales Rauschen effektiv mindert, die Robustheit und Anpassungsfähigkeit des Modells steigert und gleichzeitig die rechnerische Effizienz bei großen Graphen gewährleistet.