CaCo: 협동-대립적 대조 학습을 통한 긍정적 및 부정적 샘플의 직접 학습

대표적인 자기지도 학습 방법 중 하나인 대조 학습(contrastive learning)은 표현의 비지도 학습에서 큰 성공을 거두었다. 이 방법은 쿼리 앵커(query anchors)를 기준으로 긍정 샘플과 부정 샘플을 구분함으로써 인코더를 학습한다. 이러한 긍정 및 부정 샘플은 구분 가능한 인코더를 학습하기 위한 목적 함수를 정의하는 데 핵심적인 역할을 하며, 임의의 특징(트리비얼한 특징)을 학습하는 것을 방지한다. 기존의 방법들은 이러한 샘플들을 경험적(heuristically)으로 선택하지만, 본 연구에서는 인코더와 함께 엔드투엔드(end-to-end)로 직접 학습 가능한 긍정 및 부정 샘플을 제안한다. 우리는 긍정 샘플과 부정 샘플이 각각 대조 손실(contrastive loss)을 최소화하고 최대화함으로써 상호 보완적이고 대립적인 방식으로 함께 학습될 수 있음을 보여준다. 이는 인코더에 대해 협력적인 긍정 샘플과 대립적인 부정 샘플을 생성하며, 이들은 미니배치 단위로 쿼리 앵커의 학습된 표현을 지속적으로 추적하도록 업데이트된다. 제안된 방법은 ImageNet1K에서 ResNet-50 백본을 200 및 800 에포크 동안 사전 학습할 때 각각 71.3%, 75.3%의 상위 1위 정확도를 달성하였으며, 다중 크롭(multi-crop)이나 강력한 증강 기법과 같은 보조 기법 없이도 성능을 발휘한다. 다중 크롭을 추가하면 성능이 더욱 향상되어 75.7%까지 도달한다. 소스 코드와 사전 학습 모델은 https://github.com/maple-research-lab/caco 에 공개되어 있다.