Diffusion de l'attention sur graphe

Le paradigme dominant en apprentissage automatique sur les graphes repose sur les réseaux de neurones à graphes à passage de messages (MP-GNN), dans lesquels les représentations des nœuds sont mises à jour en agrégeant les informations provenant de leur voisinage local. Récemment, de plus en plus d’efforts ont été déployés pour adapter l’architecture Transformer aux graphes, dans une tentative de surmonter certaines limitations connues des MP-GNN. Un défi majeur dans la conception des Transformers pour graphes consiste à intégrer de manière adéquate la structure arbitraire du graphe dans l’architecture. Nous proposons Graph Diffuser (GD) afin de relever ce défi. GD apprend à extraire les relations structurelles et positionnelles entre des nœuds éloignés dans le graphe, qu’il utilise ensuite pour guider l’attention du Transformer ainsi que la mise à jour des représentations des nœuds. Nous démontrons que les GNN existants et les Transformers pour graphes peinent à capturer les interactions à longue portée, tandis que Graph Diffuser y parvient tout en permettant des visualisations intuitives. Des expériences sur huit benchmarks montrent que Graph Diffuser est un modèle hautement compétitif, surpassant l’état de l’art dans un large éventail de domaines.