대조 학습은 데이터 생성 과정을 역전시킨다

최근 대조 학습(contrastive learning)은 자기지도 학습(self-supervised learning) 분야에서 놀라운 성공을 거두었다. 그러나 지금까지도 학습된 표현이 다양한 후행 작업(downstream tasks)에 얼마나 효과적으로 일반화되는지에 대한 이유는 여전히 명확하지 않다. 본 연구에서는 InfoNCE 가족에 속하는 목적 함수를 사용해 퍼셉트론 모델을 학습시키는 과정에서, 모델이 관측된 데이터의 기저 생성 모델(underlying generative model)을 암묵적으로 역전환(invert)하도록 학습된다는 것을 증명한다. 이 증명은 생성 모델에 대한 일정한 통계적 가정을 전제로 하지만, 실제 실험 결과를 통해 이러한 가정이 심각하게 위반되어도 우리의 발견이 여전히 성립함을 관찰할 수 있다. 본 이론은 대조 학습, 생성 모델링(generative modeling), 비선형 독립 성분 분석(nonlinear independent component analysis) 간의 근본적인 연결고리를 부각시켜, 학습된 표현의 본질을 더 깊이 이해할 수 있도록 하며, 더욱 효과적인 대조 손실(contrastive loss)을 도출하기 위한 이론적 기반을 제공한다.