弥合知识库-文本鸿沟：利用结构化知识感知预训练进行知识库问答

知识库问答（KBQA）旨在通过知识库中的实体和关系等事实信息回答自然语言问题。然而，传统的预训练语言模型（PLMs）直接在大规模自然语言语料库上进行预训练，这使得它们在理解和表示结构化知识库中的复杂子图时面临挑战。为了弥合文本与结构化知识库之间的差距，我们提出了一种结构化知识感知的预训练方法（SKP）。在预训练阶段，我们引入了两个新颖的结构化知识感知任务，引导模型有效学习隐含关系并更好地表示复杂子图。在下游的KBQA任务中，我们进一步设计了一种高效的线性化策略和区间注意力机制，分别帮助模型更好地编码复杂子图并在推理过程中屏蔽无关子图的干扰。详细的实验和分析验证了SKP的有效性，特别是在子图检索方面取得了显著提升（+4.08% H@10）。