HyperAIHyperAI

Command Palette

Search for a command to run...

Transformateur de graphe hétérogène

Ziniu Hu Yuxiao Dong Kuansan Wang Yizhou Sun

Résumé

Ces dernières années ont vu l'émergence du succès des réseaux neuronaux sur graphes (GNNs) pour la modélisation de données structurées. Cependant, la plupart des GNNs sont conçus pour des graphes homogènes, dans lesquels tous les nœuds et arêtes appartiennent au même type, ce qui les rend incapables de représenter des structures hétérogènes. Dans cet article, nous présentons l'architecture Heterogeneous Graph Transformer (HGT) pour la modélisation de graphes hétérogènes à l'échelle du Web. Pour modéliser l'hétérogénéité, nous concevons des paramètres dépendants du type de nœud et d'arête afin de caractériser l'attention hétérogène sur chaque arête, permettant ainsi à HGT de maintenir des représentations dédiées pour différents types de nœuds et d'arêtes. Pour gérer les graphes hétérogènes dynamiques, nous introduisons la technique d'encodage temporel relatif dans HGT, capable de capturer la dépendance structurelle dynamique avec des durées arbitraires. Pour traiter les données de graphes à l'échelle du Web, nous avons conçu l'algorithme d'échantillonnage de graphes par mini-lot hétérogène---HGSampling---pour une formation efficace et évolutrice. De nombreuses expériences menées sur le graphe académique ouvert composé de 179 millions de nœuds et 2 milliards d'arêtes montrent que le modèle HGT proposé dépasse constamment toutes les méthodes baselines GNNs d'avant-garde de 9% à 21% sur diverses tâches en aval.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Transformateur de graphe hétérogène | Articles | HyperAI