Kreismerkmals-Graphormer: Können Kreismerkmale den Graph-Transformer anregen?

In diesem Paper führen wir zwei lokale Graphmerkmale für Aufgaben der fehlenden-Link-Vorhersage auf dem Datensatz ogbl-citation2 ein. Wir definieren diese Merkmale als Circle Features, wobei der Begriff aus dem Konzept des „Kreises von Freunden“ entlehnt ist. Für diese Merkmale stellen wir detaillierte Berechnungsformeln vor. Zunächst definieren wir das erste Circle Feature als modifizierten Swing für allgemeine Graphen, der ursprünglich aus bipartiten Graphen stammt. Als zweites Circle Feature definieren wir den sogenannten Bridge-Feature, der die Bedeutung zweier Knoten für unterschiedliche Kreise von Freunden ausdrückt. Darüber hinaus schlagen wir erstmals diese Merkmale als Bias in einen Graph-Transformer-Neuralnetzwerk vor, um die Fähigkeit des selbst-Attention-Mechanismus im Graphen zu verbessern. Wir implementieren ein Circled Feature aware Graph Transformer (CFG)-Modell auf Basis des SIEG-Netzwerks, das eine Double-Tower-Architektur nutzt, um sowohl globale als auch lokale Strukturmerkmale zu erfassen. Experimentelle Ergebnisse zeigen, dass CFG die bisher beste Leistung auf dem Datensatz ogbl-citation2 erzielt.