GRPE: Relative Positional Encoding für Graph Transformer

Wir schlagen eine neuartige Positionscodierung für die Lernung von Graphen in Transformer-Architekturen vor. Bisherige Ansätze linearisieren entweder einen Graphen, um absolute Positionen in der Knotenfolge zu kodieren, oder verwenden Bias-Terme, um relative Positionen bezüglich eines anderen Knotens zu erfassen. Erstere Methode verliert an Genauigkeit bezüglich der relativen Position aufgrund der Linearisierung, während letztere eine enge Integration zwischen Knoten-Kanten- und Knoten-Topologie-Interaktion vermissen lässt. Um die Schwächen der vorherigen Ansätze zu überwinden, codiert unsere Methode einen Graphen ohne Linearisierung und berücksichtigt sowohl die Interaktion zwischen Knoten und Topologie als auch die zwischen Knoten und Kanten. Wir bezeichnen unsere Methode als Graph Relative Positional Encoding (GRPE), speziell für die Graphendarstellungslernung konzipiert. Experimente an verschiedenen Graph-Datensätzen zeigen, dass die vorgeschlagene Methode die bisherigen Ansätze signifikant übertrifft. Unser Code ist öffentlich verfügbar unter https://github.com/lenscloth/GRPE.