OFA: 単純なシーケンス・ツー・シーケンス学習フレームワークを用いたアーキテクチャ、タスク、モダリティの統一

本研究では、複雑なタスク/モダリティ固有のカスタマイズの枠組みを打破するため、多様なモーダルプリトレーニングの統一パラダイムを追求します。私たちは、Task-Agnostic（タスク非依存）およびModality-Agnostic（モダリティ非依存）のフレームワークとして、Task Comprehensiveness（タスク包括性）をサポートするOFAを提案します。OFAは、画像生成、視覚的定位、画像キャプション作成、画像分類、言語モデリングなど、多様なクロスモーダルおよびユニモーダルタスクを単純なシーケンス・ツー・シーケンス学習フレームワークで統一します。OFAはプリトレーニングとファインチューニングの両段階で指示ベースの学習に従い、下流タスクには追加のタスク固有層が不要です。最近の最先端ビジョン&言語モデルが極めて大規模なクロスモーダルデータセットに依存しているのに対し、OFAは公開されている2000万件の画像-テキストペアのみを使用してプリトレーニングされます。その単純さと比較的小規模な訓練データにもかかわらず、OFAは一連のクロスモーダルタスクにおいて新しい最先端性能を達成し、ユニモーダルタスクでも競争力のある性能を示しています。さらに私たちの分析によれば、OFAは未見のタスクや未見のドメインへの効果的な転移も可能です。当該コードおよびモデルはhttps://github.com/OFA-Sys/OFAにて公開されています。