Graph-Propagation-Transformer für das Lernen von Graph-Darstellungen

Dieses Papier stellt eine neuartige Transformer-Architektur für das Lernen von Graphrepräsentationen vor. Das zentrale Konzept unserer Methode besteht darin, die Informationsverbreitung zwischen Knoten und Kanten in einem Graph vollständig zu berücksichtigen, wenn man den Aufmerksamkeitsmodul in den Transformer-Blöcken erstellt. Insbesondere schlagen wir ein neues Aufmerksamkeitsmechanismus vor, den wir Graph Propagation Attention (GPA) nennen. Dieser überträgt die Informationen explizit auf drei Arten zwischen Knoten und Kanten: Knoten-zu-Knoten, Knoten-zu-Kante und Kante-zu-Knoten, was für das Lernen von graphstrukturierten Daten essentiell ist. Auf dieser Grundlage haben wir eine effektive Transformer-Architektur namens Graph Propagation Transformer (GPTrans) entwickelt, um das Lernen von Graphdaten weiter zu unterstützen. Wir prüfen die Leistungsfähigkeit von GPTrans in einer Vielzahl von Graph-Lernexperimenten auf mehreren Benchmark-Datensätzen. Diese Ergebnisse zeigen, dass unsere Methode viele der neuesten transformerbasierten Graphmodelle in Bezug auf bessere Leistung übertreffen kann. Der Code wird unter https://github.com/czczup/GPTrans veröffentlicht werden.