Transformer Sensible à la Structure pour l'Apprentissage des Représentations de Graphes

L’architecture Transformer a récemment suscité un intérêt croissant dans le domaine de l’apprentissage des représentations de graphes, car elle surmonte naturellement plusieurs limitations des réseaux neuronaux sur graphes (GNN) en évitant leurs biais inductifs structurels stricts, en ne codant la structure du graphe que par une encodage positionnel. Dans ce travail, nous montrons que les représentations des nœuds générées par un Transformer utilisant un encodage positionnel ne capturent pas nécessairement une similarité structurelle entre eux. Pour résoudre ce problème, nous proposons le Structure-Aware Transformer, une classe de Transformers graphiques simples et flexibles fondés sur un nouveau mécanisme d’attention auto-attentive. Ce mécanisme d’attention auto-attentive intègre des informations structurelles dans l’attention initiale en extrayant une représentation de sous-graphe centrée sur chaque nœud avant le calcul de l’attention. Nous proposons plusieurs méthodes pour générer automatiquement ces représentations de sous-graphe, et démontrons théoriquement que les représentations obtenues sont au moins aussi expressives que celles des sous-graphes. Expérimentalement, notre méthode atteint des performances de pointe sur cinq benchmarks de prédiction sur graphes. Notre cadre structurellement conscient peut exploiter n’importe quel GNN existant pour extraire la représentation de sous-graphe, et nous montrons qu’il améliore systématiquement les performances par rapport au modèle de base GNN, réussissant ainsi à combiner les avantages des GNN et des Transformers. Le code est disponible à l’adresse suivante : https://github.com/BorgwardtLab/SAT.