Relphormer : Transformateur de graphe relationnel pour les représentations de graphes de connaissances

Les Transformers ont obtenu des performances remarquables dans de nombreux domaines, notamment le traitement du langage naturel, la vision par ordinateur et l’exploration de graphes. Toutefois, les architectures Transformer classiques n’ont pas permis d’améliorations prometteuses dans le domaine des représentations des graphes de connaissance (Knowledge Graph, KG), où le paradigme des distances de translation reste dominant. Il convient de noter que les architectures Transformer classiques peinent à capturer efficacement l’information structurelle et sémantique intrinsèquement hétérogène des graphes de connaissance. A cet effet, nous proposons une nouvelle variante de Transformer pour les représentations de graphes de connaissance, baptisée Relphormer. Plus précisément, nous introduisons Triple2Seq, une méthode permettant d’échantillonner dynamiquement des séquences de sous-graphes contextualisés en tant qu’entrée, afin de réduire le problème d’hétérogénéité. Nous proposons également un nouveau mécanisme d’attention auto-encodante enrichi par la structure, conçu pour encoder l’information relationnelle tout en préservant l’information sémantique au sein des entités et des relations. En outre, nous exploitons une modélisation masquée des connaissances pour l’apprentissage général des représentations de graphes de connaissance, applicable à diverses tâches basées sur les KG, telles que la complétion de graphes de connaissance, la réponse à des questions et la recommandation. Les résultats expérimentaux sur six jeux de données démontrent que Relphormer atteint des performances supérieures par rapport aux méthodes de référence. Le code est disponible à l’adresse suivante : https://github.com/zjunlp/Relphormer.