초록
감독 학습은 많은 응용 분야에서 큰 발전을 이끌어냈지만, 비지도 학습은 그러한 광범위한 채택을 보지 못했으며 인공 지능에 있어 여전히 중요한 도전 과제로 남아 있습니다. 본 연구에서는 고차원 데이터에서 유용한 표현을 추출하기 위한 보편적인 비지도 학습 접근법을 제안하며, 이를 대조 예측 부호화(Contrastive Predictive Coding)라고 명명합니다. 우리 모델의 핵심 아이디어는 강력한 자기회귀 모델을 사용하여 잠재 공간에서 미래를 예측함으로써 이러한 표현을 학습하는 것입니다. 우리는 확률적 대조 손실 함수를 사용하여 미래 샘플을 예측하는 데 가장 유용한 정보를 포착하도록 잠재 공간을 유도합니다. 또한 부정 샘플링(negative sampling)을 통해 모델의 계산 가능성을 보장합니다. 대부분의 이전 연구가 특정 모달리티에 대한 표현 평가에 초점을 맞춘 반면, 우리는 우리의 접근법이 음성, 이미지, 텍스트 및 3D 환경에서의 강화 학습 등 네 가지 다른 영역에서 우수한 성능을 달성할 수 있는 유용한 표현을 학습할 수 있음을 입증하였습니다.