KEPLER : Un Modèle Unifié pour l'Embedding de Connaissances et la Représentation Pré-entraînée du Langage

Les modèles de représentation linguistique pré-entraînés (PLMs) ne parviennent pas à bien capturer les connaissances factuelles à partir du texte. En revanche, les méthodes d'embedding de connaissances (KE) peuvent représenter efficacement les faits relationnels dans les graphes de connaissances (KGs) grâce à des embeddings d'entités informatifs, mais les modèles KE traditionnels ne peuvent pas tirer pleinement parti des informations textuelles abondantes. Dans cet article, nous proposons un modèle unifié pour l'embedding de connaissances et la représentation linguistique pré-entraînée (KEPLER), qui non seulement permet une meilleure intégration des connaissances factuelles dans les PLMs, mais produit également un embedding de connaissances enrichi par le texte grâce aux puissants PLMs. Dans KEPLER, nous encodons les descriptions textuelles des entités avec un PLM en tant que leurs embeddings, puis optimisons conjointement les objectifs d'embedding de connaissances et de modélisation linguistique. Les résultats expérimentaux montrent que KEPLER atteint des performances de pointe sur diverses tâches en traitement du langage naturel (NLP), et fonctionne également remarquablement bien comme modèle KE inductif pour la prédiction des liens dans les KGs. De plus, pour l'entraînement préalable et l'évaluation de KEPLER, nous avons construit Wikidata5M, un jeu de données à grande échelle de KG avec des descriptions d'entités alignées, et établi des benchmarks pour les méthodes KE de pointe sur ce jeu de données. Il devrait servir de nouveau benchmark pour l'embedding de connaissances et faciliter la recherche sur les grands KGs, l'embedding de connaissances inductif et les KGs avec du texte. Le code source peut être obtenu à l'adresse suivante : https://github.com/THU-KEG/KEPLER.