基于完形填空的自注意力网络预训练

我们提出了一种新的双向变压器模型预训练方法，该方法在多种语言理解问题上提供了显著的性能提升。我们的模型解决了一个填空式的单词重构任务，即每个单词都被删除，并且需要根据文本中的其余部分进行预测。实验表明，该模型在GLUE基准测试中取得了显著的性能提升，并在命名实体识别（NER）和句法成分分析基准测试中达到了新的最先进水平，这与同期引入的BERT模型的结果一致。此外，我们还对影响有效预训练的多个因素进行了详细分析，包括数据领域和规模、模型容量以及填空目标的变化形式。