15 天前
通过多思维链的元推理回答问题
Ori Yoran, Tomer Wolfson, Ben Bogin, Uri Katz, Daniel Deutch, Jonathan Berant

摘要
当前的多跳问答(multi-hop question answering, QA)系统通常将问题分解为一系列推理步骤,即所谓的“思维链”(chain-of-thought, CoT),最终得出答案。在实践中,常通过采样多个思维链,并对最终答案进行投票聚合来提升性能,但中间推理步骤本身在后续处理中被丢弃。尽管此类方法能有效提升准确率,却未能考虑不同思维链之间中间步骤的内在关联,也无法为预测答案提供统一、连贯的解释。为此,我们提出多思维链推理(Multi-Chain Reasoning, MCR)方法,该方法不采用对多个思维链答案的简单聚合,而是引导大型语言模型对多个思维链进行元推理(meta-reasoning)。MCR能够分析不同推理路径,融合其中的信息,并在生成解释和预测答案时筛选出最相关的关键事实。实验表明,MCR在7个主流多跳问答数据集上均显著优于现有强基线模型。此外,我们的分析显示,MCR生成的解释具有较高质量,能够支持人类用户对模型答案进行有效验证。