Logiformer：一种用于可解释逻辑推理的双分支图Transformer网络

机器阅读理解因其探索模型文本理解潜力而受到广泛关注。为进一步赋予机器推理能力，逻辑推理这一具有挑战性的任务应运而生。以往关于逻辑推理的研究已提出多种策略，从不同角度提取逻辑单元。然而，如何建模逻辑单元之间的长距离依赖关系仍是尚未解决的难题。此外，如何揭示文本的逻辑结构，并将离散的逻辑信息融合至连续的文本嵌入表示中，也面临严峻挑战。为应对上述问题，本文提出一种端到端的逻辑推理模型——Logiformer，该模型采用双分支图Transformer网络实现文本的逻辑推理。首先，我们设计了不同的文本提取策略，将输入文本划分为两组逻辑单元，并分别构建逻辑图与语法图：逻辑图用于建模逻辑分支中的因果关系，语法图则用于捕捉语法分支中的共现关系。其次，为建模长距离依赖，将每个图的节点序列输入全连接图Transformer结构中。两个邻接矩阵被作为图Transformer层的注意力偏置，从而将离散的逻辑结构映射到连续的文本嵌入空间。第三，在答案预测前引入动态门控机制与问题感知的自注意力模块，以更新特征表示。整个推理过程通过显式利用逻辑单元实现可解释性，其机制与人类认知过程保持一致。实验结果表明，所提模型在两个主流逻辑推理基准测试上均优于当前最先进的单模型方法，展现出显著优势。