摘要
当前最先进的模型往往依赖数据中的表面模式，这些模式在分布外（out-of-domain）或对抗性设置下泛化能力较差。例如，文本蕴含模型常学会将某些特定关键词直接关联为蕴含关系，而忽视上下文语境；视觉问答模型则倾向于预测典型答案，而不考虑图像中的实际证据。本文表明，若我们事先掌握这些偏差（bias）信息，便可训练出对领域偏移更具鲁棒性的模型。我们的方法包含两个阶段：首先（1）训练一个仅依赖数据集偏差进行预测的“朴素模型”；随后（2）将该朴素模型与一个鲁棒模型组成集成系统，通过联合训练促使鲁棒模型关注那些更可能泛化的数据模式。在五个包含分布外测试集的数据集上的实验结果表明，该方法在所有设置下均显著提升了模型的鲁棒性，其中在动态先验的视觉问答数据集上提升了12个百分点，在对抗性问答测试集上提升了9个百分点。