Apprentissage de représentations de graphes préservant la transitivité pour relier la connectivité locale et la similarité basée sur les rôles

Les méthodes d'apprentissage de représentations de graphes (GRL), telles que les réseaux neuronaux de graphes et les modèles de transformateurs de graphes, ont été utilisées avec succès pour analyser des données structurées en graphes, en se concentrant principalement sur les tâches de classification de nœuds et de prédiction de liens. Cependant, la plupart des études existantes ne prennent en compte que la connectivité locale tout en ignorant la connectivité à longue portée et les rôles des nœuds. Dans cet article, nous proposons les Réseaux de Transformateurs Unifiés pour Graphes (UGT) qui intègrent efficacement des informations structurelles locales et globales dans des représentations vectorielles de longueur fixe. Premièrement, UGT apprend la structure locale en identifiant les sous-structures locales et en agrégant les caractéristiques des voisinages à $k$ sauts de chaque nœud. Deuxièmement, nous construisons des arêtes virtuelles reliant des nœuds distants ayant une similarité structurelle pour capturer les dépendances à longue portée. Troisièmement, UGT apprend des représentations unifiées par le biais de l'auto-attention, codant la distance structurelle et la probabilité de transition en $p$ étapes entre les paires de nœuds. De plus, nous proposons une tâche d'apprentissage auto-supervisé qui apprend efficacement la probabilité de transition pour fusionner les caractéristiques structurelles locales et globales, pouvant ensuite être transférée à d'autres tâches downstream. Les résultats expérimentaux sur des jeux de données réels et standards pour diverses tâches downstream ont montré que UGT surpassait significativement les modèles baselines composés de modèles d'avant-garde. En outre, UGT atteint la puissance expressive du test d'isomorphisme Weisfeiler-Lehman d'ordre trois (3d-WL) pour distinguer des paires de graphes non isomorphes. Le code source est disponible à l'adresse suivante : https://github.com/NSLab-CUK/Unified-Graph-Transformer.