摘要
引入先验知识可有效提升现有预训练模型在填空式机器阅读理解任务中的表现，已成为近年来研究的新趋势。值得注意的是，当前大多数模型已将外部知识图谱（Knowledge Graph, KG）与基于Transformer架构的模型（如BERT）整合到统一的数据结构中。然而，如何从知识图谱中准确筛选出与上下文语义模糊的实体，并提取最具代表性的子图，仍是亟待解决的挑战。本文提出LUKE-Graph模型，该模型基于文档中实体之间的直观语义关系构建异构图结构，无需依赖任何外部知识图谱。随后，我们采用关系图注意力网络（Relational Graph Attention Network, RGAT）融合该图结构所蕴含的推理信息，以及预训练LUKE模型所生成的上下文表示。通过这一机制，我们既能利用LUKE模型获取具备实体感知能力的表示，又能借助图模型挖掘具备关系感知能力的表示。此外，本文进一步提出Gated-RGAT，通过引入门控机制对RGAT进行增强，以调控图卷积操作中问题信息的传播。该设计在机制上与人类推理过程高度相似——人类在推理时通常会根据问题信息动态选择最合适的实体候选。实验结果表明，LUKE-Graph在需要常识推理的ReCoRD数据集上取得了当前最优的性能表现。