BART：自然言語生成、翻訳、理解のためのノイズ除去型シーケンス・トゥ・シーケンス事前学習

我々は、シーケンス・トゥ・シーケンスモデルの事前学習のためのノイズ除去オートエンコーダー「BART」を提案する。BARTは、（1）任意のノイズ関数を用いてテキストを破損させ、（2）元のテキストを再構成するモデルを学習するというアプローチで訓練される。このモデルは、標準的なTransformerベースのニューラル機械翻訳アーキテクチャを採用しており、その単純さにもかかわらず、双方向エンコーダーによってBERTを一般化し、左から右へのデコーダーによってGPTを再現するだけでなく、近年の多数の事前学習スキームも統合できる。さまざまなノイズ処理手法を評価した結果、元の文の順序をランダムにシャッフルする手法と、テキストの一部を単一のマスクトークンに置き換える新規な「インフィリング（in-filling）」スキームの組み合わせが最も優れた性能を示した。BARTはテキスト生成タスクへのファインチューニングにおいて特に効果的である一方で、理解タスクにも高い性能を発揮する。GLUEおよびSQuADにおいて、同等の訓練リソースを用いたRoBERTaと同等の性能を達成し、要約・質問応答・要約型対話など多様な抽象的生成タスクにおいて、新しいSOTA（状態の最良）を達成。ROUGEスコアでは最大6ポイントの向上を記録した。また、機械翻訳タスクでは、ターゲット言語のみの事前学習で、バックトランスレーションシステムよりも1.1のBLEUスコア向上を達成した。さらに、BARTフレームワーク内で他の事前学習スキームを再現するアブレーション実験も報告しており、最終タスク性能に最も影響を与える要因を明確に評価することを目的としている。