要約
Transformers（トランスフォーマー）に基づく双方向エンコーダ表現（BERT: Bidirectional Encoder Representations from Transformers）は、最近自然言語処理タスクの幅広い範囲で進歩を遂げている事前学習言語モデルの最新版を代表しています。本論文では、BERTがテキスト要約に有用に適用できる方法を示し、抽出型と抽象型の両モデル向けの一般的なフレームワークを提案します。我々は、文書レベルの新しいエンコーダをBERTに基づいて導入します。このエンコーダは、文書の意味論を表現し、その文に対する表現を得る能力を持っています。抽出型モデルは、このエンコーダ上に複数の文間トランスフォーマー層を積み重ねることで構築されています。抽象型要約については、エンコーダとデコーダ間の不一致（前者は事前学習済みである一方、後者は未学習である）を軽減する手段として異なる最適化手法を使用することで、新たな微調整スケジュールを提案します。また、二段階微調整アプローチが生成された要約の品質向上に寄与することも示しています。3つのデータセットでの実験結果から、我々のモデルが抽出型および抽象型設定において一貫して最先端の成果を達成していることが確認されました。当該コードは https://github.com/nlpyang/PreSumm で公開されています。