HyperAIHyperAI

Command Palette

Search for a command to run...

GRPE : Encodage de position relative pour les Transformers de graphes

Wonpyo Park Woonggi Chang Donggeon Lee Juntae Kim Seung-won Hwang

Résumé

Nous proposons une nouvelle encodage positionnel pour l’apprentissage de graphes dans l’architecture Transformer. Les approches existantes consistent soit à linéariser un graphe afin d’encoder une position absolue dans la séquence des nœuds, soit à encoder une position relative par rapport à un autre nœud à l’aide de termes d’biais. La première approche perd en précision la position relative due à la linéarisation, tandis que la seconde néglige une intégration étroite entre les interactions nœud-arête et nœud-topologie. Pour surmonter les limites des approches antérieures, notre méthode encode un graphe sans linéarisation et prend en compte à la fois les interactions nœud-topologie et nœud-arête. Nous appelons cette méthode Graph Relative Positional Encoding, spécifiquement conçue pour l’apprentissage de représentations de graphes. Des expériences menées sur divers jeux de données de graphes montrent que la méthode proposée surpasser significativement les approches précédentes. Notre code est disponible publiquement à l’adresse suivante : https://github.com/lenscloth/GRPE.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
GRPE : Encodage de position relative pour les Transformers de graphes | Articles | HyperAI