転移学習の限界を探究する：統一されたテキスト対テキストトランスフォーマーの活用

転移学習は、モデルがまずデータ量の多いタスクで事前学習された後、下流タスクで微調整されるという手法であり、自然言語処理（NLP）において強力な技術として注目を集めています。転移学習の効果性は、多様なアプローチ、方法論、および実践を生み出しています。本論文では、すべてのテキストベースの言語問題をテキストからテキストへの形式に変換する統一フレームワークを導入することで、NLPにおける転移学習技術の全体像を探ります。当研究では、数十の言語理解タスクについて、事前学習目標、アーキテクチャ、ラベルなしデータセット、転移手法などの要因を系統的に比較します。探求から得た洞察とスケール、「コロッサル・クリーン・クロール・コーパス」（Colossal Clean Crawled Corpus）という新しい大規模コーパスを組み合わせることで、要約、質問応答、テキスト分類など多くのベンチマークで最先端の結果を達成しました。今後のNLPにおける転移学習に関する研究を促進するために、データセット、事前学習済みモデル、およびコードを公開します。