Barlow Twins: 재중복성 감소를 통한 자기지도 학습

자기지도 학습(Self-supervised learning, SSL)은 대규모 컴퓨터 비전 벤치마크에서 지도 학습 방법과의 격차를 빠르게 줄이고 있다. SSL의 성공적인 접근 방식 중 하나는 입력 샘플의 왜곡에 대해 불변(invariant)인 임베딩을 학습하는 것이다. 그러나 이러한 접근 방식은 종종 비의미한 상수 해(Trivial constant solutions)의 존재라는 반복적인 문제를 겪는다. 현재 대부분의 방법들은 이러한 해를 피하기 위해 주의 깊은 구현 세부 사항을 활용한다. 본 연구에서는 동일한 두 네트워크에 동일한 샘플의 왜곡된 버전을 입력했을 때 출력 간의 교차상관행렬(Cross-correlation matrix)을 측정하고, 이를 단위행렬(identity matrix)에 가능한 한 가깝게 만들도록 하는 목적 함수를 제안한다. 이는 동일한 샘플의 왜곡된 버전들에 대한 임베딩 벡터가 유사해지도록 하되, 이 벡터 내 성분들 간의 중복성을 최소화한다. 본 방법은 동일한 두 네트워크에 신경과학자 H. 바로우(H. Barlow)의 중복 감소 원칙(Redundancy-reduction principle)을 적용한 데서 유래하여 '바로우 트윈스(Barlow Twins)'라고 명명하였다. 바로우 트윈스는 대규모 배치나 네트워크 트윈 간의 비대칭 구조(예: 예측망(predictor network), 그래디언트 정지, 가중치 업데이트에 대한 이동 평균 등)를 요구하지 않는다. 흥미롭게도 이 방법은 매우 고차원적인 출력 벡터에서 특히 우수한 성능을 발휘한다. 바로우 트윈스는 저데이터 환경에서 ImageNet에 대한 반자율 분류(task)에서 기존 방법들을 능가하며, 선형 분류기 헤드를 사용한 ImageNet 분류 및 분류 및 객체 탐지와 같은 전이 학습(task)에서 현재 최상의 성능과 비슷한 수준의 결과를 달성한다.