SignGT : Transformer Graph à Attention Basée sur les Signes pour l'Apprentissage de Représentations de Graphes

Les Transformers graphiques émergents ont atteint des performances remarquables dans l'apprentissage de représentations de graphes, surpassant les réseaux de neurones graphiques (GNNs). Dans ce travail, nous considérons le mécanisme d'attention auto-associative, module central des Transformers graphiques, comme une opération d'agrégation en deux étapes effectuée sur un graphe complètement connecté. En raison de la propriété de génération de valeurs d'attention positives, ce mécanisme équivaut à une opération de lissage appliquée à tous les nœuds, préservant ainsi les informations à basse fréquence. Toutefois, la capture exclusive d'informations à basse fréquence s'avère inefficace pour modéliser des relations complexes entre nœuds sur des graphes divers, notamment les graphes hétérophiles où les informations à haute fréquence sont cruciales. Ainsi, nous proposons un Transformer graphique basé sur une attention signée (SignGT), capable d'adapter de manière dynamique la capture d'informations à différentes fréquences à partir des graphes. Plus précisément, SignGT introduit un nouveau mécanisme d'attention auto-associative signée (SignSA), qui produit des valeurs d'attention signées en fonction de la similarité sémantique des paires de nœuds. Cette approche permet ainsi de préserver de manière fine les informations de fréquence variées entre différentes paires de nœuds. Par ailleurs, SignGT propose un réseau feed-forward conscient de la structure (SFFN), qui intègre un biais de voisinage afin de préserver les informations topologiques locales. Grâce à cette architecture, SignGT parvient à apprendre des représentations informatives des nœuds à la fois à partir de dépendances à longue portée et d'informations topologiques locales. Des résultats expérimentaux étendus sur des tâches au niveau des nœuds et au niveau des graphes démontrent clairement l'avantage de SignGT par rapport aux Transformers graphiques d'avant-garde ainsi qu'aux GNNs avancés.