16 天前

MLMLM:基于均似然掩码语言模型的链接预测

Louis Clouatre, Philippe Trempe, Amal Zouaq, Sarath Chandar
MLMLM:基于均似然掩码语言模型的链接预测
摘要

知识库(Knowledge Bases, KBs)具有查询便捷、可验证性和可解释性等优势,但其扩展性受限于人工投入和高质量数据的获取。相比之下,掩码语言模型(Masked Language Models, MLMs),如BERT,能够通过计算资源和非结构化原始文本数据实现高效扩展,然而模型所蕴含的知识却难以直接解释。为此,我们提出利用 MLM 进行链接预测,以同时解决知识库的可扩展性问题以及 MLM 模型的可解释性难题。为此,我们引入了 MLMLM(Mean Likelihood Masked Language Model)方法,该方法通过比较生成不同实体的平均似然概率,以一种高效且可计算的方式实现链接预测。在 WN18RR 数据集上,我们的方法取得了当前最优(State of the Art, SotA)性能;在 FB15k-237 数据集上,亦获得了非基于实体嵌入(non-entity-embedding-based)方法中的最佳结果。此外,MLMLM 在面对未见实体的链接预测任务中也表现出令人信服的性能,表明该方法能够有效支持新实体的引入,因而是一种适用于向知识库中动态添加新实体的可行方案。

MLMLM:基于均似然掩码语言模型的链接预测 | 最新论文 | HyperAI超神经