Les Transformers purs sont des apprenants de graphes puissants

Nous montrons que les Transformers standards, sans modifications spécifiques aux graphes, peuvent produire des résultats prometteurs dans l’apprentissage sur graphes, tant sur le plan théorique que pratique. Étant donné un graphe, nous traitons simplement tous les nœuds et toutes les arêtes comme des tokens indépendants, leur ajoutons des embeddings de tokens, puis les introduisons dans un Transformer. Avec un choix approprié d’embeddings de tokens, nous démontrons que cette approche est théoriquement au moins aussi expressive qu’un réseau invariant de graphes (2-IGN) composé de couches linéaires équivariantes, qui est déjà plus expressif que tous les réseaux de neurones sur graphes basés sur le passage de messages (GNN). Lorsqu’il est entraîné sur un grand jeu de données de graphes (PCQM4Mv2), notre méthode, baptisée Tokenized Graph Transformer (TokenGT), obtient des résultats significativement meilleurs par rapport aux modèles de base GNN, ainsi que des résultats compétitifs par rapport aux variantes de Transformers intégrant des biais inductifs sophistiqués spécifiques aux graphes. Notre implémentation est disponible à l’adresse suivante : https://github.com/jw9730/tokengt.