HyperAIHyperAI

Command Palette

Search for a command to run...

Graphormer à caractéristiques circulaires : Les caractéristiques circulaires peuvent-elles stimuler le Transformer de graphe ?

Jingsong Lv Hongyang Chen Yao Qi Lei Yu

Résumé

Dans cet article, nous introduisons deux caractéristiques locales basées sur les graphes pour la tâche de prédiction de liens manquants sur le jeu de données ogbl-citation2. Nous définissons ces caractéristiques comme des « Caractéristiques Circulaires », inspirées du concept de « cercle d’amis ». Nous proposons des formules de calcul détaillées pour ces caractéristiques. Premièrement, nous définissons la première caractéristique circulaire comme une version modifiée de l’« oscillation » (swing), adaptée aux graphes généraux et issue d’un graphe biparti. Deuxièmement, nous définissons la deuxième caractéristique circulaire comme un « pont » (bridge), qui reflète l’importance relative de deux nœuds dans des cercles d’amis distincts. En outre, pour la première fois, nous proposons d’incorporer ces caractéristiques comme biais dans un réseau neuronal Transformer de graphe, afin d’améliorer le mécanisme d’attention auto-associative du graphe. Nous avons implémenté un modèle appelé Circled Feature aware Graph Transformer (CFG), basé sur l’architecture SIEG, qui utilise une structure à deux tours (double tower) pour capturer à la fois les caractéristiques structurelles globales et locales. Les résultats expérimentaux montrent que CFG atteint une performance de pointe (state-of-the-art) sur le jeu de données ogbl-citation2.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp