基于大规模知识库与自然语言的可微推理

利用自然语言表达的知识以及知识库（Knowledge Bases, KBs）进行推理，是人工智能领域的一项重大挑战，其应用涵盖机器阅读、对话系统和问答系统等多个方面。现有的通用神经网络架构虽然能够联合学习文本的表示与变换，但普遍存在数据效率低下、推理过程难以分析等问题。尽管端到端可微分推理系统（如神经定理证明器，Neural Theorem Provers, NTPs）在一定程度上缓解了上述问题，但其仅适用于小规模符号化知识库。本文首先提出一种名为贪心神经定理证明器（Greedy NTPs, GNTPs）的新方法，作为对NTPs的扩展，有效解决了其复杂度高与可扩展性差的局限性，从而使其能够应用于真实世界的大规模数据集。该方法通过在推理过程中动态构建计算图，并仅保留最具潜力的推理路径，显著提升了模型效率，相较传统NTPs实现数量级的性能提升。随后，本文提出一种新颖的联合推理框架，能够同时处理知识库中的逻辑事实与自然语言中的提及信息，通过将逻辑事实与自然语言句子嵌入到统一的向量空间中，实现语义对齐与联合推理。实验结果表明，GNTPs在保持与NTPs相当推理性能的同时，计算成本大幅降低，在大规模数据集上取得了具有竞争力的链接预测效果，同时能够提供可解释的推理过程，并生成可解释的模型。相关源代码、数据集及补充材料已公开发布于 GitHub：https://github.com/uclnlp/gntp。