약한 감독 대비 학습

비지도 시각적 표현 학습은 최근 대조 학습(contrastive learning)의 성과로 인해 컴퓨터 비전 분야에서 큰 주목을 받고 있다. 기존의 대부분의 대조 학습 프레임워크는 각 개별 샘플을 서로 다른 클래스로 간주하는 인스턴스 식별(instance discrimination)을 사전 작업(pretext task)으로 채택하고 있다. 그러나 이러한 방법은 필연적으로 클래스 충돌(class collision) 문제를 초래하며, 이는 학습된 표현의 품질을 저하시키는 원인이 된다. 이러한 관찰에 기반하여, 본 연구에서는 이 문제를 해결하기 위해 약한 지도형 대조 학습 프레임워크(WCL: Weakly Supervised Contrastive Learning)를 제안한다. 구체적으로, 본 연구에서 제안하는 프레임워크는 두 개의 프로젝션 헤드(projection head)를 기반으로 하며, 하나는 전통적인 인스턴스 식별 작업을 수행하고, 다른 하나는 그래프 기반 방법을 활용하여 유사한 샘플을 탐색하고 약한 레이블(weak label)을 생성한 후, 이 약한 레이블을 기반으로 감독형 대조 학습을 수행하여 유사한 이미지들을 더욱 가까이 모은다. 또한, 긍정 샘플의 수를 확장하기 위해 K-최근접 이웃(K-Nearest Neighbor) 기반의 다중 크롭 전략을 도입하였다. 광범위한 실험 결과를 통해 WCL이 다양한 데이터셋에서 자기지도형 표현의 품질을 향상시킴을 입증하였다. 특히, 반지도 학습(semi-supervised learning)에서 새로운 최고 성능(state-of-the-art)을 달성하였다. ResNet50을 사용하여 레이블이 1%와 10%인 경우, 각각 ImageNet Top-1 정확도 65%, 72%를 기록하였으며, 이는 ResNet101을 사용한 SimCLRv2보다도 높은 성능이다.