HyperAIHyperAI

Command Palette

Search for a command to run...

SignGT : Transformer Graph à Attention Basée sur les Signes pour l'Apprentissage de Représentations de Graphes

Jinsong Chen Gaichao Li John E. Hopcroft Kun He

Résumé

Les Transformers graphiques émergents ont atteint des performances remarquables dans l'apprentissage de représentations de graphes, surpassant les réseaux de neurones graphiques (GNNs). Dans ce travail, nous considérons le mécanisme d'attention auto-associative, module central des Transformers graphiques, comme une opération d'agrégation en deux étapes effectuée sur un graphe complètement connecté. En raison de la propriété de génération de valeurs d'attention positives, ce mécanisme équivaut à une opération de lissage appliquée à tous les nœuds, préservant ainsi les informations à basse fréquence. Toutefois, la capture exclusive d'informations à basse fréquence s'avère inefficace pour modéliser des relations complexes entre nœuds sur des graphes divers, notamment les graphes hétérophiles où les informations à haute fréquence sont cruciales. Ainsi, nous proposons un Transformer graphique basé sur une attention signée (SignGT), capable d'adapter de manière dynamique la capture d'informations à différentes fréquences à partir des graphes. Plus précisément, SignGT introduit un nouveau mécanisme d'attention auto-associative signée (SignSA), qui produit des valeurs d'attention signées en fonction de la similarité sémantique des paires de nœuds. Cette approche permet ainsi de préserver de manière fine les informations de fréquence variées entre différentes paires de nœuds. Par ailleurs, SignGT propose un réseau feed-forward conscient de la structure (SFFN), qui intègre un biais de voisinage afin de préserver les informations topologiques locales. Grâce à cette architecture, SignGT parvient à apprendre des représentations informatives des nœuds à la fois à partir de dépendances à longue portée et d'informations topologiques locales. Des résultats expérimentaux étendus sur des tâches au niveau des nœuds et au niveau des graphes démontrent clairement l'avantage de SignGT par rapport aux Transformers graphiques d'avant-garde ainsi qu'aux GNNs avancés.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp