要約
最近の画像表現学習における自己教師付き手法は、同一画像の異なる視点から得られる埋め込みベクトル間の一致を最大化するものである。しかし、エンコーダの出力が定数ベクトルとなるという自明な解（コラプス問題）が発生するリスクがある。この問題は、通常、学習アーキテクチャ内の暗黙的なバイアスによって回避されるが、その理由や解釈はしばしば明確でない。本論文では、各次元ごとに埋め込みの分散に対して単純な正則化項を導入することで、コラプス問題を明示的に回避するVICReg（Variance-Invariance-Covariance Regularization）を提案する。VICRegは、分散項と、冗長性低減に基づく相関除去機構および共分散正則化を組み合わせることで、複数の下流タスクにおいて最先端の性能と同等の結果を達成する。さらに、本研究では、他の手法に新たに導入した分散項が学習の安定化をもたらし、性能の向上にも寄与することを示している。