Transformateur de graphe hétérogène

Ces dernières années ont vu l'émergence du succès des réseaux neuronaux sur graphes (GNNs) pour la modélisation de données structurées. Cependant, la plupart des GNNs sont conçus pour des graphes homogènes, dans lesquels tous les nœuds et arêtes appartiennent au même type, ce qui les rend incapables de représenter des structures hétérogènes. Dans cet article, nous présentons l'architecture Heterogeneous Graph Transformer (HGT) pour la modélisation de graphes hétérogènes à l'échelle du Web. Pour modéliser l'hétérogénéité, nous concevons des paramètres dépendants du type de nœud et d'arête afin de caractériser l'attention hétérogène sur chaque arête, permettant ainsi à HGT de maintenir des représentations dédiées pour différents types de nœuds et d'arêtes. Pour gérer les graphes hétérogènes dynamiques, nous introduisons la technique d'encodage temporel relatif dans HGT, capable de capturer la dépendance structurelle dynamique avec des durées arbitraires. Pour traiter les données de graphes à l'échelle du Web, nous avons conçu l'algorithme d'échantillonnage de graphes par mini-lot hétérogène---HGSampling---pour une formation efficace et évolutrice. De nombreuses expériences menées sur le graphe académique ouvert composé de 179 millions de nœuds et 2 milliards d'arêtes montrent que le modèle HGT proposé dépasse constamment toutes les méthodes baselines GNNs d'avant-garde de 9% à 21% sur diverses tâches en aval.