MLMLM : Prédiction de liens avec un modèle de langage masqué par vraisemblance moyenne

Les bases de connaissances (KB) sont faciles à interroger, vérifiables et interprétables. Toutefois, leur mise à jour et leur expansion nécessitent des efforts manuels importants ainsi que des données de haute qualité. Les modèles de langage masqués (MLM), tels que BERT, s'échelonnent quant à eux selon la puissance de calcul disponible et la quantité de données brutes non structurées. Toutefois, les connaissances intégrées dans ces modèles ne sont pas directement interprétables. Nous proposons d'utiliser les MLM pour la prédiction de liens afin de relever à la fois les défis d'évolutivité des KB et ceux d'interprétabilité des MLM. Pour cela, nous introduisons MLMLM, modèle de langage masqué à probabilité moyenne (Mean Likelihood Masked Language Model), une approche qui compare la probabilité moyenne de génération des différentes entités afin de réaliser la prédiction de liens de manière efficace. Nos résultats atteignent l'état de l'art (SotA) sur le jeu de données WN18RR, et les meilleurs résultats non basés sur des embeddings d'entités sur FB15k-237. Nous obtenons également des résultats convaincants pour la prédiction de liens impliquant des entités auparavant inconnues, ce qui rend MLMLM une approche appropriée pour l'intégration de nouvelles entités dans une base de connaissances.