Biais inductifs sur les graphes dans les Transformers sans passage de messages

Les Transformers destinés aux données graphes sont de plus en plus largement étudiés et se révèlent très performants dans de nombreuses tâches d’apprentissage. Les biais inductifs propres aux graphes sont essentiels pour les Transformers de graphes, et les travaux antérieurs les intègrent généralement à l’aide de modules d’échange de messages et/ou d’encodages de position. Toutefois, les Transformers de graphes utilisant l’échange de messages héritent des problèmes bien connus de cette approche, tout en différant significativement des Transformers utilisés dans d’autres domaines, ce qui complique considérablement le transfert des progrès scientifiques. À l’inverse, les Transformers de graphes ne faisant pas appel à l’échange de messages obtiennent souvent de mauvaises performances sur des jeux de données de petite taille, où les biais inductifs sont particulièrement cruciaux. Pour combler cet écart, nous proposons le Graph Inductive bias Transformer (GRIT), un nouveau modèle de Transformer de graphe qui intègre les biais inductifs propres aux graphes sans recourir à l’échange de messages. GRIT repose sur plusieurs modifications architecturales, chacune justifiée à la fois théoriquement et empiriquement : des encodages de position relative appris, initialement à partir de probabilités de marches aléatoires ; un mécanisme d’attention flexible permettant la mise à jour des représentations des nœuds et des paires de nœuds ; ainsi que l’injection d’informations sur le degré à chaque couche. Nous démontrons que GRIT est expressif — il peut représenter les distances de plus court chemin ainsi que diverses matrices de propagation sur graphe. GRIT atteint des performances empiriques de pointe sur une variété de jeux de données graphes, démontrant ainsi tout le potentiel des Transformers de graphes qui ne recourent pas à l’échange de messages.