효율적인 시각적 사전학습을 위한 대비 탐지

자기지도 학습 사전 훈련은 전이 학습을 위한 강력한 표현을 제공하는 것으로 입증되었다. 그러나 이러한 성능 향상은 막대한 계산 비용을 수반하며, 최첨단 방법들은 감독 학습 사전 훈련보다 수십 배에 달하는 계산량을 필요로 한다. 우리는 이 계산적 한계를 극복하기 위해 새로운 자기지도 목적 함수인 대조 탐지(contrastive detection)를 제안한다. 이 목적 함수는 증강된 이미지 간에 객체 수준의 특징을 식별하도록 표현을 요구함으로써, 각 이미지당 풍부한 학습 신호를 추출한다. 이를 통해 다양한 하류 작업에서 최첨단 수준의 전이 정확도를 달성하면서도 사전 훈련에 최대 10배 적은 계산량을 요구한다. 특히, ImageNet에서 사전 훈련한 우리의 최강 모델은 현재까지 가장 큰 자기지도 시스템 중 하나인 SEER와 비슷한 성능을 발휘하며, 이는 1000배 더 많은 사전 훈련 데이터를 사용한 시스템이다. 마지막으로, 우리의 목적 함수는 COCO와 같은 더 복잡한 이미지에 대한 사전 훈련을 자연스럽게 처리할 수 있어, COCO에서 PASCAL로의 감독 전이 학습과의 격차를 좁히는 데 기여한다.