摘要
最先进的预训练语言表示模型，如基于变换器的双向编码器表示（BERT），很少显式地融入常识知识或其他知识。我们提出了一种将常识知识融入语言表示模型的预训练方法。我们构建了一个与常识相关的多项选择题数据集，用于预训练神经语言表示模型。该数据集通过我们提出的“对齐、掩码和选择”（AMS）方法自动创建。我们还研究了不同的预训练任务。实验结果表明，使用所提方法进行预训练并在后续微调的模型在两个与常识相关的基准测试中取得了显著改进，包括CommonsenseQA和Winograd Schema Challenge。此外，我们观察到经过所提预训练方法微调后的模型在其他自然语言处理任务上，如句子分类和自然语言推理任务，仍能保持与原始BERT模型相当的性能。这些结果验证了所提方法在显著提升与常识相关的自然语言处理任务的同时，并不会削弱其通用的语言表示能力。