HyperAIHyperAI

Command Palette

Search for a command to run...

ドメインに依存しない自己教師付き学習のための自己指導型マスク付きオートエンコーダー

Johnathan Xie Yoonho Lee Annie S. Chen Chelsea Finn

概要

自己教師あり学習(self-supervised learning)は、大量のラベルなしデータから表現を学習する点で優れており、複数のデータモダリティにわたり成功を収めている。しかし、既存の手法は各ドメインに特化した設計を採用しているため(例えば、タスクに内在する不変性を反映するドメイン固有のデータ拡張手法など)、新たなモダリティへの拡張は容易ではない。一方で、入力データの拡張に依存しない点から、マスクモデリング(masked modeling)はドメインに依存しない自己教師あり学習の枠組みとして有望視されている。しかしながら、現行のマスクサンプリング手順は依然としてドメイン依存性を有している。本研究では、完全にドメインに依存しないマスクモデリング手法として、自己誘導型マスク自動エンコーダ(Self-guided Masked Autoencoders: SMA)を提案する。SMAは、マスクのサンプリング方法をドメイン特有の仮定なしに学習することで、アテンションベースのモデルをマスクモデリングの目的関数に基づいて訓練する。我々は、タンパク質生物学、化学的性質予測、素粒子物理学の3つの自己教師あり学習ベンチマークにおいてSMAの性能を評価した。その結果、SMAはドメイン特有の知識なしに表現を学習可能であり、これらのベンチマークにおいて最先端の性能を達成することを確認した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています