Réseau de neurones à attention sur graphe hétérogène

Le réseau de neurones graphique, en tant que technique puissante de représentation de graphes fondée sur l’apprentissage profond, a fait preuve d’une performance supérieure et suscite un intérêt considérable dans la communauté scientifique. Toutefois, son application aux graphes hétérogènes — c’est-à-dire des graphes contenant différents types de nœuds et d’arêtes — n’a pas encore été pleinement explorée. L’hétérogénéité et l’information sémantique riche que ces graphes portent posent des défis majeurs dans la conception de réseaux de neurones graphiques adaptés à ce type de structure. Récemment, l’un des progrès les plus prometteurs dans le domaine de l’apprentissage profond est mécanisme d’attention, dont le potentiel remarquable a été largement démontré dans divers domaines. Dans cet article, nous proposons tout d’abord un nouveau modèle de réseau de neurones graphique hétérogène basé sur une attention hiérarchique, incluant une attention au niveau des nœuds et une attention au niveau sémantique. Plus précisément, l’attention au niveau des nœuds vise à apprendre l’importance relative entre un nœud et ses voisins définis par des métapathes, tandis que l’attention au niveau sémantique permet d’évaluer l’importance respective des différentes métapathes. Grâce à l’importance apprise à la fois au niveau des nœuds et au niveau sémantique, le modèle prend pleinement en compte l’importance des nœuds et des métapathes. Ensuite, le modèle proposé génère des embeddings de nœuds en agrégant les caractéristiques provenant des voisins définis par des métapathes de manière hiérarchique. Des expérimentations étendues menées sur trois graphes hétérogènes réels montrent non seulement que notre modèle surpasser les méthodes de pointe actuelles, mais aussi qu’il présente un potentiel d’interprétabilité élevé pour l’analyse de graphes.