L'attention self dans les couleurs : une autre approche pour encoder la structure des graphes dans les Transformers

Nous introduisons un nouveau mécanisme d’attention auto-référente, que nous appelons CSA (Chromatic Self-Attention), qui étend la notion de scores d’attention à des filtres d’attention, modulant indépendamment les canaux de caractéristiques. Nous mettons en œuvre le CSA dans un Transformer graphique entièrement basé sur l’attention, appelé CGT (Chromatic Graph Transformer), qui intègre à la fois les informations structurelles du graphe et les caractéristiques des arêtes, tout en éliminant complètement la nécessité de composants de passage de messages locaux. Notre méthode encode de manière flexible la structure du graphe à travers des interactions entre nœuds, en enrichissant les caractéristiques d’arêtes initiales par un schéma d’encodage positionnel relatif. Nous proposons un nouveau schéma fondé sur des marches aléatoires, capable d’encoder à la fois des informations structurelles et positionnelles, et montrons comment intégrer des informations topologiques d’ordre supérieur, telles que les cycles présents dans les graphes moléculaires. Notre approche atteint des résultats de pointe sur le jeu de données de benchmark ZINC, tout en offrant un cadre flexible pour encoder la structure du graphe et intégrer des topologies d’ordre supérieur.