초록
최근 이미지 표현 학습을 위한 자기지도 학습 방법들은 동일한 이미지의 다양한 시각에서 생성된 임베딩 벡터 간의 일치도를 최대화하는 데 기반을 두고 있다. 그러나 이와 같은 접근 방식은 인코더가 일정한 벡터를 출력하는 평균화된 해(Trivial Solution)로 인해 붕괴 문제(Collapse Problem)에 직면할 수 있다. 이 붕괴 문제는 일반적으로 학습 아키텍처 내의 암묵적인 편향에 의해 회피되지만, 이러한 편향은 종종 명확한 근거나 해석이 부족하다. 본 논문에서는 각 차원별 임베딩의 분산에 대한 단순한 정규화 항을 도입함으로써 붕괴 문제를 명시적으로 방지하는 VICReg(Variance-Invariance-Covariance Regularization)을 제안한다. VICReg는 분산 항을 복잡한 재현성 감소 기반의 비상관화 메커니즘과 공분산 정규화와 결합하여, 여러 하류 작업에서 최신 기술 수준의 성능을 달성한다. 또한, 본 연구에서는 제안한 새로운 분산 항을 다른 기법에 통합함으로써 학습의 안정성을 높이고 성능 향상을 이끌어낼 수 있음을 보여준다.