대조 예측 코딩을 이용한 데이터 효율적인 이미지 인식

인간 관찰자는 몇 개의 예시만으로도 새로운 이미지 범주를 인식할 수 있지만, 인공 시스템으로 이를 수행하는 것은 여전히 해결되지 않은 문제입니다. 우리는 데이터 효율적인 인식이 자연 신호의 변동성을 더 예측 가능하게 만드는 표현에 의해 가능해진다고 가정합니다. 따라서 우리는 이러한 표현을 학습하기 위한 비지도 목적함수인 대조적 예측 코딩(Contrastive Predictive Coding)을 재검토하고 개선했습니다. 이 새로운 구현은 ImageNet 데이터셋에서 최고 수준의 선형 분류 정확도를 지원하는 특징을 생성합니다. 깊은 신경망을 사용한 비선형 분류의 입력으로 사용될 때, 이 표현은 이미지 픽셀에 직접적으로 훈련된 분류기보다 2-5배 적은 라벨을 사용할 수 있게 해줍니다. 마지막으로, 이 비지도 표현은 PASCAL VOC 데이터셋에서의 객체 검출로의 전이 학습을 크게 향상시키며, 완전히 지도된 ImageNet 사전훈련 분류기를 능가합니다.