Graphormer à caractéristiques circulaires : Les caractéristiques circulaires peuvent-elles stimuler le Transformer de graphe ?

Dans cet article, nous introduisons deux caractéristiques locales basées sur les graphes pour la tâche de prédiction de liens manquants sur le jeu de données ogbl-citation2. Nous définissons ces caractéristiques comme des « Caractéristiques Circulaires », inspirées du concept de « cercle d’amis ». Nous proposons des formules de calcul détaillées pour ces caractéristiques. Premièrement, nous définissons la première caractéristique circulaire comme une version modifiée de l’« oscillation » (swing), adaptée aux graphes généraux et issue d’un graphe biparti. Deuxièmement, nous définissons la deuxième caractéristique circulaire comme un « pont » (bridge), qui reflète l’importance relative de deux nœuds dans des cercles d’amis distincts. En outre, pour la première fois, nous proposons d’incorporer ces caractéristiques comme biais dans un réseau neuronal Transformer de graphe, afin d’améliorer le mécanisme d’attention auto-associative du graphe. Nous avons implémenté un modèle appelé Circled Feature aware Graph Transformer (CFG), basé sur l’architecture SIEG, qui utilise une structure à deux tours (double tower) pour capturer à la fois les caractéristiques structurelles globales et locales. Les résultats expérimentaux montrent que CFG atteint une performance de pointe (state-of-the-art) sur le jeu de données ogbl-citation2.