
摘要
多选题机器阅读理解(Multi-choice Machine Reading Comprehension, MRC)要求模型在给定一段文本和一个问题后,从一组候选答案中判断出正确选项。因此,除了依赖强大的预训练语言模型(Pre-trained Language Model, PrLM)作为编码器外,多选题MRC尤其依赖于匹配网络的设计,该网络需有效捕捉文本、问题与答案三者之间的复杂关系。尽管近年来更强大、更先进的PrLM已展现出即使不依赖匹配网络也能取得优异性能的能力,我们仍提出一种新型的双路多头协同注意力(DUal Multi-head Co-Attention, DUMA)模型。该模型受人类在解决多选题MRC问题时“换位思考”认知过程的启发,即从文本和问题的视角分别关注彼此的注意力焦点。实验表明,所提出的DUMA模型具有显著有效性,能够普遍提升各类PrLM的性能。我们在两个基准多选题MRC任务——DREAM和RACE上对方法进行了评估,结果表明,即使在使用高性能PrLM的前提下,DUMA仍能进一步推动模型达到新的最先进(state-of-the-art)水平。