SummaReranker：要約抽出のためのマルチタスク・ミックスチャネル・オブ・エキスパート再ランクフレームワーク

近年、シーケンス・トゥ・シーケンス型ニューラルネットワークは、特に大規模な事前学習済み言語モデルを下流タスクのデータセット上で微調整することにより、要約抽出（abstractive summarization）において顕著な成果を上げている。これらのモデルは通常、ビームサーチを用いて一意の要約を生成するようにデコードされるが、探索空間が非常に大きいため、さらには露出バイアス（exposure bias）の影響を受けるため、このデコード手法は最適ではない。本論文では、要約候補の集合に対して再ランク付け（re-ranking）を行う第二段階のモデルを直接学習することが可能であることを示す。我々が提案する「Mixture-of-Experts SummaReranker」は、より優れた候補を選択する能力を学習し、ベースモデルの性能を一貫して向上させる。ベースモデルとしてPEGASUSを用いた場合、CNN-DailyMailではROUGEスコアを5.44%向上（ROUGE-1: 47.16）、XSumでは1.31%向上（ROUGE-1: 48.12）、Reddit TIFUでは9.34%向上（ROUGE-1: 29.83）し、いずれも新たな最先端（state-of-the-art）の水準に達した。本研究のコードおよびチェックポイントは、https://github.com/ntunlp/SummaReranker にて公開される予定である。