HyperAIHyperAI

Command Palette

Search for a command to run...

Transformateur de graphe informé par la topologie

Yun Young Choi; Sun Woo Park; Minho Lee; Youngho Woo

Résumé

Les Transformers ont révolutionné les performances dans le traitement du langage naturel et la vision, ouvrant la voie à leur intégration avec les Réseaux Neuronaux sur Graphes (GNNs). Un défi majeur pour l'amélioration des graph transformers est de renforcer leur puissance discriminante pour distinguer les isomorphismes de graphes, ce qui joue un rôle crucial dans l'augmentation de leurs performances prédictives. Pour relever ce défi, nous introduisons le « Topology-Informed Graph Transformer (TIGT) », une nouvelle architecture de transformer qui améliore à la fois la puissance discriminante pour détecter les isomorphismes de graphes et les performances globales des Graph Transformers. Le TIGT se compose de quatre composants : Une couche d'incrustation positionnelle topologique utilisant des revêtements universels non isomorphes basés sur des sous-graphes cycliques pour garantir une représentation unique des graphes ;Une couche de passage de messages à double voie pour coder explicitement les caractéristiques topologiques tout au long des couches encodeuses ;Un mécanisme d'attention globale ;Une couche d'information sur le graphe pour recalibrer les caractéristiques du graphe canal par canal afin d'améliorer la représentation des caractéristiques.Le TIGT surpassent les Graph Transformers précédents dans la classification de jeux de données synthétiques visant à distinguer les classes d'isomorphismes de graphes. De plus, une analyse mathématique et des évaluations empiriques soulignent l'avantage compétitif de notre modèle par rapport aux meilleurs Graph Transformers actuels sur divers ensembles de données de référence.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp