近期，预训练模型在各种语言理解任务中取得了最先进的成果，这表明在大规模语料库上进行预训练可能在自然语言处理中发挥关键作用。当前的预训练流程通常专注于通过几个简单的任务来掌握词汇或句子的共现情况。然而，除了共现之外，训练语料库中还存在其他有价值的词汇、句法和语义信息，例如命名实体、语义接近度和篇章关系。为了最大限度地从训练语料库中提取词汇、句法和语义信息，我们提出了一种持续预训练框架，称为 ERNIE 2.0，该框架通过不断的多任务学习逐步构建并学习预训练任务。实验结果表明，ERNIE 2.0 在包括 GLUE 基准测试中的英语任务和几个常见的中文任务在内的 16 项任务上优于 BERT 和 XLNet。源代码和预训练模型已发布在 https://github.com/PaddlePaddle/ERNIE。