本論文では、入力シーケンスに基づいて出力シーケンスを2段階で生成する新しい事前学習ベースのエンコーダー-デコーダーフレームワークを提案します。当モデルのエンコーダーでは、BERTを使用して入力シーケンスをコンテキスト表現に変換します。デコーダーについては、当モデルには2つの段階があります。第1段階では、Transformerベースのデコーダーを使用して下書き出力シーケンスを生成します。第2段階では、下書きシーケンスの各単語をマスクし、それをBERTに入力します。その後、入力シーケンスとBERTによって生成された下書き表現を組み合わせて、各マスク位置での精製された単語を予測するためにTransformerベースのデコーダーを使用します。我々が知る限り、本手法はBERTをテキスト生成タスクに適用した最初の方法です。(BERT into text generation tasks) この方向性における最初の一歩として、提案手法を要約タスクで評価しました。実験結果は、CNN/Daily Mailおよびニューヨーク・タイムズデータセットにおいて当モデルが新たな最先端の性能を達成していることを示しています。