SignGT: Signierte Aufmerksamkeitsbasierte Graph-Transformer für die Graphenrepräsentationslernen

Die sich entwickelnden Graph-Transformers haben eine beeindruckende Leistung bei der Graph-Darstellungslernung im Vergleich zu Graph Neural Networks (GNNs) erzielt. In dieser Arbeit betrachten wir die Selbst-Attention-Mechanismus, das zentrale Modul der Graph-Transformers, als einen zweistufigen Aggregationsvorgang auf einem vollständig verbundenen Graphen. Aufgrund der Eigenschaft, positive Aufmerksamkeitswerte zu generieren, entspricht der Selbst-Attention-Mechanismus einer glatten Operation über alle Knoten und bewahrt somit die Niederfrequenzinformationen. Allerdings ist die reine Erfassung von Niederfrequenzinformationen ineffizient beim Lernen komplexer Beziehungen zwischen Knoten in diversen Graphen, insbesondere in Heterophilie-Graphen, in denen die Hochfrequenzinformationen entscheidend sind. Um dies zu adressieren, schlagen wir einen Signed Attention-basierten Graph-Transformer (SignGT) vor, der adaptiv verschiedene Frequenzinformationen aus den Graphen erfasst. Konkret entwickelt SignGT einen neuen signierten Selbst-Attention-Mechanismus (SignSA), der signierte Aufmerksamkeitswerte basierend auf der semantischen Relevanz von Knotenpaaren erzeugt. Dadurch können die unterschiedlichen Frequenzinformationen zwischen verschiedenen Knotenpaaren präzise erhalten werden. Zusätzlich führt SignGT ein strukturbewusstes Feed-Forward-Netzwerk (SFFN) ein, das eine Nachbarschafts-Bias-Struktur beinhaltet, um die lokale Topologieinformation zu bewahren. Auf diese Weise kann SignGT informative Knotendarstellungen sowohl aus langreichweitigen Abhängigkeiten als auch aus lokalen Topologieinformationen lernen. Umfangreiche empirische Ergebnisse sowohl auf Knoten- als auch auf Graph-Ebene zeigen die Überlegenheit von SignGT gegenüber den aktuellen Stand der Technik bei Graph-Transformern sowie fortschrittlichen GNNs.