초록
무 supervision 시각 표현 학습을 위한 모멘텀 대조(Momentum Contrast, MoCo)를 제안한다. 대조 학습을 사전(dictionary) 탐색의 관점에서 바라보았을 때, 우리는 큐(queue)와 이동 평균 인코더(moving-averaged encoder)를 활용하여 동적 사전(dynamic dictionary)을 구축한다. 이를 통해 실시간으로 크기가 크고 일관성 있는 사전을 구성할 수 있으며, 이는 대조 기반의 무 supervision 학습을 촉진한다. MoCo는 ImageNet 분류 작업에서 일반적으로 사용되는 선형 프로토콜(linear protocol) 하에서 경쟁력 있는 성능을 보이며, 특히 중요하게도 MoCo가 학습한 표현은 하류 작업(downstream tasks)으로 잘 전이된다. PASCAL VOC, COCO 및 기타 데이터셋에서 7개의 탐지 및 세그멘테이션 작업에서 MoCo는 감독 학습 전훈련(supervised pre-training) 대비 상당한 성능을 발휘하며, 때로는 크게 앞서는 성과를 기록한다. 이는 많은 비전 작업에서 무 supervision 표현 학습과 감독 학습 간의 성능 격차가 크게 좁혀졌음을 시사한다.