HyperAIHyperAI

Command Palette

Search for a command to run...

VICReg:自己教師付き学習のための分散不変性・共分散正則化

Adrien Bardes Jean Ponce Yann LeCun

概要

最近の画像表現学習における自己教師付き手法は、同一画像の異なる視点から得られる埋め込みベクトル間の一致を最大化するものである。しかし、エンコーダの出力が定数ベクトルとなるという自明な解(コラプス問題)が発生するリスクがある。この問題は、通常、学習アーキテクチャ内の暗黙的なバイアスによって回避されるが、その理由や解釈はしばしば明確でない。本論文では、各次元ごとに埋め込みの分散に対して単純な正則化項を導入することで、コラプス問題を明示的に回避するVICReg(Variance-Invariance-Covariance Regularization)を提案する。VICRegは、分散項と、冗長性低減に基づく相関除去機構および共分散正則化を組み合わせることで、複数の下流タスクにおいて最先端の性能と同等の結果を達成する。さらに、本研究では、他の手法に新たに導入した分散項が学習の安定化をもたらし、性能の向上にも寄与することを示している。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています