BARThez：熟練な事前学習済みフランス語シーケンス・トゥ・シーケンスモデル

誘導的転移学習は、BERTやBARTといったモデルが多数の自然言語理解（NLU）タスクにおいて新たな最先端性能を達成したことにより、自然言語処理（NLP）分野を席巻している。しかし、現存するモデルおよび研究の多くは英語を対象としている。本研究では、フランス語向けの初の大規模事前学習seq2seqモデルであるBARThezを紹介する。BARThezはBARTを基盤としており、生成タスクに特に適している。本研究では、FLUEベンチマークに含まれる5つの識別タスクおよび、本研究のために新たに構築した要約データセットOrangeSumの2つの生成タスクにおいてBARThezの性能を評価した。その結果、CamemBERTやFlauBERTといった最先端のフランス語BERTベースモデルと比べても、BARThezは非常に競争力のある性能を示した。さらに、BARThezのコーパスを用いて多言語BARTの継続的事前学習を実施し、得られたモデルmBARThezがBARThezの生成性能を顕著に向上させることを示した。本研究のコード、データ、モデルはすべて公開されている。