統一QA：単一のQAシステムでフォーマットの境界を越える

質問応答（QA）タスクは、抽出的範囲選択、選択肢形式など、さまざまなフォーマットで提示されてきました。これにより、フォーマットに特化したモデルが開発され、さらにはQAコミュニティ内での暗黙の分断が生じています。しかし、我々はそのような境界線が人工的なものであり、おそらく不要であると主張します。なぜなら、教えようとしている推論能力はフォーマットによって制御されていないからです。証拠として、最新の言語モデルの進歩を利用して、4つの異なるフォーマットを網羅する17のQAデータセットで驚くほど良いパフォーマンスを示す単一の事前学習済みQAモデル、UnifiedQAを構築しました。UnifiedQAは、個々のデータセットで訓練された9つの異なるモデルと同等の性能を発揮します。さらに、観測されたフォーマットの12つの未見データセットに対しても驚くほど良いパフォーマンスを示し、フォーマット外の訓練データからの強い汎化能力を示しています。最後に、この事前学習済みQAモデルを微調整して専門的なモデルにすることで、6つのデータセットで新しい最先端の成果を得ることができました。これにより、UnifiedQAはQAシステム構築における強力な出発点となることが確立されました。