2 个月前

MoCoSA:基于动量对比的结构增强预训练语言模型知识图谱补全方法

Jiabang He; Liu Jia; Lei Wang; Xiyao Li; Xing Xu
MoCoSA:基于动量对比的结构增强预训练语言模型知识图谱补全方法
摘要

知识图谱补全(KGC)旨在对知识图谱中的事实进行推理,并自动推断缺失的链接。现有的方法主要可以分为基于结构的方法或基于描述的方法。一方面,基于结构的方法通过实体嵌入有效地表示了知识图谱中的关系事实。然而,由于结构信息有限,它们在处理语义丰富的现实世界实体时遇到困难,并且无法推广到未见过的实体。另一方面,基于描述的方法利用预训练语言模型(PLMs)来理解文本信息。这些方法对未见过的实体表现出较强的鲁棒性。然而,它们在大规模负采样方面存在困难,通常在性能上落后于基于结构的方法。为了解决这些问题,本文提出了一种结合结构增强预训练语言模型的动量对比方法(MoCoSA),该方法允许预训练语言模型通过可适应的结构编码器感知结构信息。为了提高学习效率,我们提出了动量难负样本和关系内负采样的策略。实验结果表明,我们的方法在平均倒数排名(MRR)指标上达到了最先进的性能,在WN18RR数据集上提高了2.5%,在OpenBG500数据集上提高了21%。

MoCoSA:基于动量对比的结构增强预训练语言模型知识图谱补全方法 | 最新论文 | HyperAI超神经