17日前

持続可能な自己教師付き学習へ向けて

Shanghua Gao, Pan Zhou, Ming-Ming Cheng, Shuicheng Yan
持続可能な自己教師付き学習へ向けて
要約

近年、自己教師学習(Self-Supervised Learning, SSL)モデルの訓練コストはますます高くなっておりながらも、多くのSSLモデルは再びスクラッチから繰り返し訓練される一方で、その能力は十分に活用されていない。これは、下流タスクに適用される最先端(SOTA)モデルがごく少数であるためである。本研究では、持続可能なSSLフレームワークの構築に向け、以下の2つの主要な課題に取り組む。i) 既存の事前学習済みSSLモデル(「ベースモデル」と呼ぶ)を基に、コスト効率の良い方法でより強力な新しいSSLモデルを学習すること。ii) 新しいモデルの訓練が、さまざまなベースモデルと互換性を持つようにすること。そこで、従来のマスク復元に基づくSSLに新たな要素を導入する「ターゲット強化型条件付き(Target-Enhanced Conditional, TEC)」スキームを提案する。まず、パッチ間関係を強化したターゲットを導入する。この手法は、ベースモデルが提供するターゲットを強化し、入力が不完全な状態でも、新しいモデルがベースモデルから意味的関係性の知識を学習できるようにする。このターゲットの強化とハードニングにより、不完全な入力に対処するための追加的なパッチ間関係モデリングが促進され、結果として新しいモデルがベースモデルを上回る性能を達成できる。第二に、条件付きアダプタ(conditional adapter)を導入し、異なるベースモデルのターゲットに応じて、新しいモデルの予測を動的に調整する。広範な実験結果から、TECスキームが学習速度を向上させるとともに、MAEやiBOTといったSOTAのSSLベースモデルの性能も改善できることを示した。本研究は、持続可能なSSLへの道を模索する一歩として、重要な意義を持つ。

持続可能な自己教師付き学習へ向けて | 最新論文 | HyperAI超神経