HyperAIHyperAI

Command Palette

Search for a command to run...

Les Transformers rencontrent les graphes orientés

Simon Geisler; Yujia Li; Daniel Mankowitz; Ali Taylan Cemgil; Stephan Günnemann; Cosmin Paduraru

Résumé

Les Transformers ont été initialement proposés comme un modèle séquence-à-séquence pour le traitement du texte, mais ils sont devenus essentiels pour une large gamme de modalités, y compris les images, l'audio, la vidéo et les graphes non orientés. Cependant, les Transformers pour les graphes dirigés restent un sujet étonnamment peu exploré, malgré leur pertinence dans des domaines omniprésents tels que le code source et les circuits logiques. Dans cette étude, nous proposons deux encodages positionnels prenant en compte la direction et la structure pour les graphes dirigés : (1) les vecteurs propres du Laplacien magnétique - une généralisation orientée de la direction du Laplacien combinatoire ; (2) les encodages de marches aléatoires directionnels. Expérimentalement, nous démontrons que l'information supplémentaire sur la direction est utile dans diverses tâches en aval, notamment le test de correction des réseaux de tri et la compréhension du code source. Associée à une construction de graphe axée sur le flux de données, notre modèle surpassent l'état de l'art précédent sur le benchmark Open Graph Benchmark Code2 avec une amélioration relative de 14,7 %.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp