Les Transformers rencontrent les graphes orientés

Les Transformers ont été initialement proposés comme un modèle séquence-à-séquence pour le traitement du texte, mais ils sont devenus essentiels pour une large gamme de modalités, y compris les images, l'audio, la vidéo et les graphes non orientés. Cependant, les Transformers pour les graphes dirigés restent un sujet étonnamment peu exploré, malgré leur pertinence dans des domaines omniprésents tels que le code source et les circuits logiques. Dans cette étude, nous proposons deux encodages positionnels prenant en compte la direction et la structure pour les graphes dirigés : (1) les vecteurs propres du Laplacien magnétique - une généralisation orientée de la direction du Laplacien combinatoire ; (2) les encodages de marches aléatoires directionnels. Expérimentalement, nous démontrons que l'information supplémentaire sur la direction est utile dans diverses tâches en aval, notamment le test de correction des réseaux de tri et la compréhension du code source. Associée à une construction de graphe axée sur le flux de données, notre modèle surpassent l'état de l'art précédent sur le benchmark Open Graph Benchmark Code2 avec une amélioration relative de 14,7 %.