초록
대조 학습(Contrastive learning)은 거리 측도 학습(metric learning) 분야에서 주목받는 주요 연구 주제이다. 그러나 배치 크기 제한, 데이터 분포의 불균형, 과적합(overfitting)의 위험 등 다양한 요인으로 인해 효과적인 대조 쌍(contrastive pairs)을 샘플링하는 것은 여전히 도전 과제로 남아 있다. 본 논문에서는 클래스별 중심(center)을 유지하는 클래스 중심 은행(class-wise center bank)을 도입하고, 쿼리 데이터 포인트(query data points)와 클래스 중심 간의 대조 손실(contrastive loss)을 사용하는 새로운 거리 측도 학습 함수인 '센터 대조 손실(Center Contrastive Loss)'을 제안한다. 이 중심 은행은 실시간으로 업데이트되며, 특별한 샘플 마이닝(sample mining) 설계 없이도 모델 수렴을 촉진할 수 있다. 또한 각 클래스의 중심은 잘 최적화된 분류 대리(proxy)로서, 각 클래스의 감독 신호를 재균형화하는 데 기여한다. 더불어 제안하는 손실은 대조 학습과 분류 기반 방법의 장점을 결합하여, 클래스 내 변동성을 감소시키고 클래스 간 차이를 강화함으로써 임베딩의 구분 능력을 향상시킨다. 실험 결과(그림 1 참조)에 따르면, 본 손실을 사용하여 훈련된 표준 네트워크(ResNet50)가 최신 기술(SOTA) 수준의 성능과 더 빠른 수렴 속도를 달성함을 확인할 수 있다.