Raisonnement par mémoire : embeddings de graphes de connaissances par plus proches voisins

Les approches précédentes d’embedding des graphes de connaissances consistent généralement à représenter les entités par des vecteurs et à utiliser des fonctions de score pour prédire les entités cibles, mais elles peinent souvent à raisonner sur des entités rares ou émergentes non vues auparavant. Dans cet article, nous proposons KNN-KGE, une nouvelle méthode d’embedding des graphes de connaissances basée sur des modèles linguistiques pré-entraînés, qui réalise une interpolation linéaire de la distribution des entités avec leurs k plus proches voisins. Nous calculons les voisins les plus proches en fonction de la distance dans l’espace d’embedding des entités, à partir du stock de connaissances. Notre approche permet aux entités rares ou émergentes d’être mémorisées de manière explicite, plutôt que de manière implicite dans les paramètres du modèle. Les résultats expérimentaux montrent que notre méthode améliore les performances en prédiction de liens inductive et transductive, tout en offrant de meilleures performances dans des scénarios à faible ressource, même avec seulement quelques triples, ce qui pourrait faciliter le raisonnement grâce à une mémoire explicite. Le code est disponible à l’adresse suivante : https://github.com/zjunlp/KNN-KG.