要約
事前学習済みのTransformerモデルであるBERTは、複数の自然言語処理タスクで画期的な性能を達成しています。本論文では、抽出型要約に特化したBERTの単純な変種であるBERTSUMについて説明します。当システムはCNN/Dailymailデータセットにおいて最先端の成果を上げており、ROUGE-Lスコアで従来の最良システムを1.65ポイント上回っています。当システムの結果を再現するためのコードは、https://github.com/nlpyang/BertSum から入手可能です。