11 天前

MoCoKGC:用于知识图谱补全的动量对比实体编码

{YuChu Qin, Yanru Zhong, Qingyang Li}
MoCoKGC:用于知识图谱补全的动量对比实体编码
摘要

近年来,众多研究致力于通过融合知识图谱的结构信息,提升预训练语言模型(PLMs)在知识图谱补全(KGC)任务中的性能。然而,现有方法尚未有效结合知识图谱的结构属性与实体的文本描述,以生成鲁棒的实体编码。为解决这一问题,本文提出MoCoKGC(基于动量对比的实体编码知识图谱补全模型),该模型引入三种核心编码器:实体-关系编码器、实体编码器以及动量实体编码器。动量对比学习不仅能够提供更丰富的负样本,还支持实体编码的渐进式更新。在此基础上,本文将生成的实体编码重新输入编码器,以进一步融合知识图谱的结构信息。此外,MoCoKGC通过关系的深度提示(deep prompts)增强了实体-关系编码器的推理能力。在标准评估指标平均倒数排名(MRR)上,MoCoKGC模型表现出色,在WN18RR数据集上实现7.1%的性能提升,在Wikidata5M数据集上提升达11%,同时在FB15k-237数据集上也超越了当前最优模型。通过一系列系统性实验,本文深入分析了模型各组件及参数的作用与贡献。

MoCoKGC:用于知识图谱补全的动量对比实体编码 | 最新论文 | HyperAI超神经