端到端可微证明中的推理策略学习

通过将深度学习模型与基于规则的系统相结合，提升其可解释性、数据效率和鲁棒性已取得一定进展，例如在神经定理证明器（Neural Theorem Provers, NTPs）中。这类神经符号模型能够从数据中通过反向传播学习表示，并推导出可解释的规则，同时为预测结果提供逻辑解释。然而，这类模型受限于其较高的计算复杂度，必须考虑所有可能的推理路径以解释目标，因而难以应用于大规模场景。为此，本文提出条件定理证明器（Conditional Theorem Provers, CTPs），作为NTPs的扩展，通过基于梯度的优化学习最优规则选择策略。实验表明，CTPs具有良好的可扩展性，并在CLUTRR数据集上取得了当前最优的性能，该数据集通过在较小图上学习推理能力并在更大图上进行评估，测试神经模型的系统泛化能力。此外，与其它神经符号模型相比，CTPs在标准基准上的链接预测任务中表现更优，同时保持了可解释性。所有源代码与数据集均已公开，可通过 https://github.com/uclnlp/ctp 获取。