言語モデル（LM）の事前学習は、さまざまな言語理解タスクにおいて印象的な性能とサンプル効率を達成しています。しかし、要約生成などの生成タスクにおいて、どのように最適に事前学習されたLMを使用するかはまだ明確ではありません。特に、サンプル効率を向上させるためにどのような方法が有効かについての理解が不足しています。これらのシーケンス・ツー・シーケンス設定では、従来の研究では事前学習された重みをエンコーダおよび/またはデコーダネットワークに読み込む実験が行われてきましたが、エンコーダ-デコーダ注意重みには非事前学習のものを使用していました。対照的に、私たちは事前学習されたデコーダのみのネットワークを使用し、同じTransformer LMがソースを符号化し、要約を生成します。これにより、ネットワーク内のすべてのパラメータ、ソース状態に対する注意制御を含むものが、微調整ステップ前に事前学習されます。CNN/Daily Mailデータセットでの実験結果は、限定的なデータ設定下で私たちの事前学習済みTransformer LMが事前学習済みTransformerエンコーダ-デコーダネットワークよりも大幅に性能を改善することを示しています。例えば、訓練データの1%（約3000例）のみを使用して13.1のROUGE-2スコアを達成しましたが、事前学習済みエンコーダ-デコーダモデルは2.3のROUGE-2スコアでした。