HyperAIHyperAI

Command Palette

Search for a command to run...

DABS:自己教師学習におけるドメインに依存しないベンチマーク

Alex Tamkin Vincent Liu Rongfei Lu Daniel Fein Colin Schultz Noah Goodman

概要

自己教師あり学習アルゴリズム(例:BERTやSimCLR)は、自然言語処理、コンピュータビジョン、音声処理などの分野で大きな進展をもたらしている。しかし、これらのアルゴリズムはドメイン特有であるため、医療、科学、マルチモーダルなど新たな設定においても、それぞれに応じた新たな自己教師あり学習アルゴリズムの開発が必要となる。ドメインに依存しない手法の進展を促進するため、本研究では自己教師あり学習のためのドメインに依存しないベンチマーク「DABS(Domain-Agnostic Benchmark for Self-supervised learning)」を提案する。DABSにおいて優れた性能を発揮するためには、以下の7つの異なるドメインで評価が行われる:自然画像、マルチチャネルセンサデータ、英語テキスト、音声記録、多言語テキスト、胸部X線画像、およびテキスト説明付き画像。各ドメインには事前学習用のラベルなしデータセットが用意されており、その後、そのドメイン内のラベル付きタスクに対する下流タスクの性能に基づいてモデルが評価される。さらに、本研究では2つのベースラインとしてドメインに依存しないアルゴリズム「e-Mix」と「ShED」を提示する。これらの手法の相対的に低い性能は、自己教師あり学習が任意のドメインにおいて即時利用可能なソリューションとなるまでに、依然として大きな進歩が必要であることを示している。ベンチマークデータセットおよびベースラインアルゴリズムのコードは、https://github.com/alextamkin/dabs にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています