Transformateur de graphe informé par la topologie

Les Transformers ont révolutionné les performances dans le traitement du langage naturel et la vision, ouvrant la voie à leur intégration avec les Réseaux Neuronaux sur Graphes (GNNs). Un défi majeur pour l'amélioration des graph transformers est de renforcer leur puissance discriminante pour distinguer les isomorphismes de graphes, ce qui joue un rôle crucial dans l'augmentation de leurs performances prédictives. Pour relever ce défi, nous introduisons le « Topology-Informed Graph Transformer (TIGT) », une nouvelle architecture de transformer qui améliore à la fois la puissance discriminante pour détecter les isomorphismes de graphes et les performances globales des Graph Transformers. Le TIGT se compose de quatre composants : Une couche d'incrustation positionnelle topologique utilisant des revêtements universels non isomorphes basés sur des sous-graphes cycliques pour garantir une représentation unique des graphes ;Une couche de passage de messages à double voie pour coder explicitement les caractéristiques topologiques tout au long des couches encodeuses ;Un mécanisme d'attention globale ;Une couche d'information sur le graphe pour recalibrer les caractéristiques du graphe canal par canal afin d'améliorer la représentation des caractéristiques.Le TIGT surpassent les Graph Transformers précédents dans la classification de jeux de données synthétiques visant à distinguer les classes d'isomorphismes de graphes. De plus, une analyse mathématique et des évaluations empiriques soulignent l'avantage compétitif de notre modèle par rapport aux meilleurs Graph Transformers actuels sur divers ensembles de données de référence.