タスクコンパス：タスクプレフィックスを用いたマルチタスク事前学習のスケーリング

大規模なラベルなしデータに対する自己教師学習を支援するため、タスクに特化したアノテーション付きデータを教師信号として活用する手法が、事前学習言語モデルにおける新たなトレンドとなっている。既存の研究では、大規模な教師ありタスクを用いたマルチタスク学習が、タスク間で負の影響を及ぼすことが示されている。この課題に対処するため、本研究ではタスクプレフィックスを用いたマルチタスク事前学習フレームワークを提案し、タスク間の関係性を探索することを目的とする。40のデータセットを用いた広範な実験の結果、本モデルは幅広いタスクに対する強力な基盤バックボーンとして機能するだけでなく、タスク間の関係性を分析するためのプロービングツールとしても有効であることが明らかになった。プレフィックスによって反映されるタスク間の関係性は、タスク間の転移学習性能と整合しており、補完的なタスクを用いたデータ拡張の方向性を示唆している。これにより、本モデルは常識推論リーダーボードにおいて人間の水準に達する結果を達成した。コードは https://github.com/cooelf/CompassMTL にて公開されている。