GRPE : Encodage de position relative pour les Transformers de graphes

Nous proposons une nouvelle encodage positionnel pour l’apprentissage de graphes dans l’architecture Transformer. Les approches existantes consistent soit à linéariser un graphe afin d’encoder une position absolue dans la séquence des nœuds, soit à encoder une position relative par rapport à un autre nœud à l’aide de termes d’biais. La première approche perd en précision la position relative due à la linéarisation, tandis que la seconde néglige une intégration étroite entre les interactions nœud-arête et nœud-topologie. Pour surmonter les limites des approches antérieures, notre méthode encode un graphe sans linéarisation et prend en compte à la fois les interactions nœud-topologie et nœud-arête. Nous appelons cette méthode Graph Relative Positional Encoding, spécifiquement conçue pour l’apprentissage de représentations de graphes. Des expériences menées sur divers jeux de données de graphes montrent que la méthode proposée surpasser significativement les approches précédentes. Notre code est disponible publiquement à l’adresse suivante : https://github.com/lenscloth/GRPE.