Embeddings de graphes de connaissances hyperboliques à faible dimension

Les embeddings de graphes de connaissance (KG) apprennent des représentations à faible dimension des entités et des relations afin de prédire des faits manquants. Les KG présentent souvent des structures hiérarchiques et logiques qui doivent être préservées dans l’espace d’embedding. Pour les données hiérarchiques, les méthodes d’embedding hyperbolique se sont révélées prometteuses pour des représentations à haute fidélité et parcimonieuses. Toutefois, les méthodes d’embedding hyperbolique existantes ne tiennent pas compte des riches motifs logiques présents dans les KG. Dans ce travail, nous introduisons une classe de modèles d’embedding hyperbolique pour KG capables de capturer simultanément les structures hiérarchiques et logiques. Notre approche combine réflexions et rotations hyperboliques avec une mécanique d’attention afin de modéliser des motifs relationnels complexes. Les résultats expérimentaux sur des benchmarks standards de KG montrent que notre méthode améliore les approches antérieures basées sur l’espace euclidien ou hyperbolique, avec une augmentation allant jusqu’à 6,1 % en moyenne de l’inverse du rang (MRR) dans des dimensions faibles. En outre, nous observons que différentes transformations géométriques capturent différents types de relations, tandis que les transformations basées sur l’attention se généralisent à plusieurs relations. Dans des dimensions élevées, notre approche atteint de nouveaux états de l’art avec des scores MRR de 49,6 % sur WN18RR et 57,7 % sur YAGO3-10.