Une approche de bout en bout basée sur l'attention pour l'apprentissage sur les graphes

Il y a récemment eu une augmentation significative des architectures basées sur les transformateurs pour l'apprentissage sur les graphes, principalement motivée par l'attention comme mécanisme d'apprentissage efficace et le désir de surpasser les opérateurs conçus manuellement caractéristiques des schémas de passage de messages. Cependant, des préoccupations ont été soulevées concernant leur efficacité empirique, leur évolutivité et la complexité des étapes de prétraitement, en particulier par rapport aux réseaux neuronaux de graphes beaucoup plus simples qui se comparent généralement favorablement à eux sur un large éventail de benchmarks. Pour remédier à ces lacunes, nous considérons les graphes comme des ensembles d'arêtes et proposons une approche purement basée sur l'attention composée d'un encodeur et d'un mécanisme de poolage par attention. L'encodeur intercale verticalement des modules d'auto-attention masquée et non masquée pour apprendre des représentations efficaces des arêtes, tout en permettant de traiter les éventuelles mauvaises spécifications dans les graphes d'entrée. Malgré sa simplicité, cette approche surpasse les baselines de passage de messages affinés et les méthodes récemment proposées basées sur les transformateurs sur plus de 70 tâches au niveau des nœuds et des graphes, y compris des benchmarks difficiles à longue portée. De plus, nous démontrons une performance de pointe dans diverses tâches, allant des graphes moléculaires aux graphes visuels, ainsi que dans la classification hétérophile des nœuds. Cette approche surpasse également les réseaux neuronaux de graphes et les transformateurs dans les contextes d'apprentissage par transfert, et s'évole bien mieux que les alternatives avec un niveau de performance ou une puissance expressive similaire.