摘要
研究表明，阅读策略可以提高理解水平，尤其是对于缺乏充分背景知识的读者。正如人类积累知识是一个耗时的过程一样，通过预训练将丰富的通用领域知识灌输给深度语言模型也是资源密集型的。受认知科学中识别的阅读策略启发，并且考虑到有限的计算资源——仅有一个预训练模型和固定数量的训练实例——我们提出了三种旨在改进非抽取式机器阅读理解（MRC）的一般策略：(i) 往返阅读（BACK AND FORTH READING），该策略同时考虑输入序列的原始顺序和逆序；(ii) 高亮（HIGHLIGHTING），为与问题和候选答案相关的标记添加一个可训练的嵌入向量；(iii) 自我评估（SELF-ASSESSMENT），以无监督的方式直接从文本生成练习题和候选答案。通过在最大的通用领域多项选择题MRC数据集RACE上使用我们提出的策略对预训练语言模型（Radford等人，2018年）进行微调，我们在准确性方面比之前仅在RACE上微调而未使用这些策略的最佳结果提高了5.8个百分点。进一步地，我们将所得模型在目标MRC任务上进行微调，在六个不同领域的代表性非抽取式MRC数据集（即ARC、OpenBookQA、MCTest、SemEval-2018任务11、ROCStories和MultiRC）上的平均准确性相比之前的最先进方法提高了6.2个百分点。这些结果证明了我们所提出策略的有效性以及融合这些策略后的微调模型的多功能性和广泛适用性。核心代码可在https://github.com/nlpdata/strategy/ 获取。