在本文中，我们提出了一种基于预训练的编码器-解码器框架，该框架可以分两个阶段根据输入序列生成输出序列。对于模型的编码器部分，我们使用BERT将输入序列编码为上下文表示。解码器部分则分为两个阶段：在第一阶段，我们使用基于Transformer的解码器生成一个草稿输出序列；在第二阶段，我们将草稿序列中的每个词进行掩码处理，并将其输入到BERT中，然后结合输入序列和由BERT生成的草稿表示，使用基于Transformer的解码器预测每个被掩码位置的精炼词汇。据我们所知，我们的方法是首次将BERT应用于文本生成任务的方法。作为这一方向上的初步尝试，我们在文本摘要任务上评估了所提出的方法。实验结果表明，我们的模型在CNN/Daily Mail和《纽约时报》数据集上均达到了新的最先进水平。