mT5：大規模なマルチリンガル事前学習テキストtoテキスト変換器

最近の「Text-to-Text Transfer Transformer」（T5）は、統一されたテキストtoテキスト形式とスケーリングを活用して、多様な英語自然言語処理（NLP）タスクにおいて最先端の性能を達成した。本論文では、101言語をカバーする新しいCommon Crawlベースのデータセットを用いて事前学習された、T5の多言語版であるmT5を紹介する。mT5の設計および修正された学習プロセスを詳細に説明し、多数の多言語ベンチマークにおいて最先端の性能を示すことを実証する。また、ゼロショット設定において生成モデルが予測を誤った言語に（部分的に）翻訳してしまう「誤った翻訳」を防ぐための簡単な手法も提案する。本研究で用いたすべてのコードおよびモデルチェックポイントは、公開されている。