DABS：自己教師学習におけるドメインに依存しないベンチマーク

自己教師あり学習アルゴリズム（例：BERTやSimCLR）は、自然言語処理、コンピュータビジョン、音声処理などの分野で大きな進展をもたらしている。しかし、これらのアルゴリズムはドメイン特有であるため、医療、科学、マルチモーダルなど新たな設定においても、それぞれに応じた新たな自己教師あり学習アルゴリズムの開発が必要となる。ドメインに依存しない手法の進展を促進するため、本研究では自己教師あり学習のためのドメインに依存しないベンチマーク「DABS（Domain-Agnostic Benchmark for Self-supervised learning）」を提案する。DABSにおいて優れた性能を発揮するためには、以下の7つの異なるドメインで評価が行われる：自然画像、マルチチャネルセンサデータ、英語テキスト、音声記録、多言語テキスト、胸部X線画像、およびテキスト説明付き画像。各ドメインには事前学習用のラベルなしデータセットが用意されており、その後、そのドメイン内のラベル付きタスクに対する下流タスクの性能に基づいてモデルが評価される。さらに、本研究では2つのベースラインとしてドメインに依存しないアルゴリズム「e-Mix」と「ShED」を提示する。これらの手法の相対的に低い性能は、自己教師あり学習が任意のドメインにおいて即時利用可能なソリューションとなるまでに、依然として大きな進歩が必要であることを示している。ベンチマークデータセットおよびベースラインアルゴリズムのコードは、https://github.com/alextamkin/dabs にて公開されている。