
机器阅读理解(Machine Reading Comprehension, MRC)作为一种评估系统理解自然语言能力的方法,近年来受到广泛关注。通常情况下,MRC系统的目标是在给定上下文段落的前提下,从多个选项中选出正确答案。然而,在许多多项选择题型的MRC应用场景中,还需考虑两个额外因素。首先,在多项选择考试中,往往采用负向评分机制,即答错题目会受到扣分惩罚。这一机制对MRC系统提出了更高要求:系统不仅需要预测答案,还必须具备对预测结果不确定性的认知能力。其次,许多多项选择题包含“以上皆非”(None of the Above, NOA)选项,表示在给定选项中不存在正确答案,而非每个问题都必然存在一个正确选项。这一设计使得系统在判断答案时需具备识别“无正确选项”的能力。本文通过引入预测不确定性(predictive uncertainty)机制,系统性地研究上述两个问题。对于是否应提出答案这一问题,答案的不确定性可直接用于决策——若系统对预测结果缺乏足够信心,则不应输出答案。在处理NOA选项时,存在两种策略:其一,直接在包含NOA选项的数据集上训练系统;其二,利用不确定性检测机制判断其他选项是否包含正确答案。当系统对所有候选答案均缺乏足够信心时,可自动选择NOA。由于目前尚无标准语料库用于研究上述问题,本文对ReClor语料库进行了改造:从部分问题的选项中移除正确答案,从而构建出模拟NOA场景的测试集。在此基础上,采用一个高性能的MRC系统,评估预测不确定性在上述情境下的适用性。实验结果表明,不确定性机制能够有效识别出系统信心不足的问题,从而避免错误作答。此外,研究还发现,基于不确定性的NOA决策策略在性能上优于专门设计包含NOA选项的系统。综上所述,预测不确定性不仅为MRC系统提供了应对负向评分机制的鲁棒性,也为“以上皆非”类问题的智能处理提供了有效解决方案,展现出在实际应用中的重要潜力。