3 个月前

开放域问答中的自适应信息获取

Yunchang Zhu, Liang Pang, Yanyan Lan, Huawei Shen, Xueqi Cheng
开放域问答中的自适应信息获取
摘要

信息检索是开放域问答任务中高效从大规模语料库中获取证据的关键步骤。近年来,迭代式方法在处理复杂问题方面被证明具有显著效果,其通过在每一步递归地检索新的证据来逐步推进。然而,几乎所有现有的迭代方法均采用预定义的策略,要么重复使用相同的检索函数,要么固定不同检索函数的执行顺序,这种固定模式难以满足不同类型问题的多样化需求。为此,本文提出一种新型的自适应信息检索策略——AISO(Adaptive Information-Seeking Strategy),用于开放域问答任务。具体而言,AISO将整个检索与答案生成过程建模为一个部分可观测的马尔可夫决策过程(POMDP),其中定义了三种类型的检索操作(如BM25、DPR和超链接检索)以及一种答案生成操作作为可执行动作。基于所学习到的策略,AISO能够根据已收集的证据和重新构建的查询,在每一步自适应地选择最合适的检索动作以获取缺失的证据;当证据集足以支持作答时,则直接输出答案。在SQuAD Open和HotpotQA fullwiki这两个基准数据集上的实验结果表明,AISO在检索与答案生成两个评价维度上均显著优于所有采用预定义策略的基线方法,充分验证了其在开放域问答任务中的有效性与优越性。