데이터 증강을 활용한 자기지도 학습은 콘텐츠를 스타일로부터 증명 가능한 방식으로 분리한다

자기지도형 표현 학습은 여러 분야에서 놀라운 성과를 거두었다. 일반적인 접근 방식은 데이터 증강을 수작업으로 설계된 변환을 통해 수행하는 것으로, 이러한 변환은 데이터의 의미를 유지하도록 설계된다. 본 연구는 이러한 방법의 경험적 성공을 이론적 관점에서 이해하고자 한다. 우리는 잠재 표현을 두 부분으로 나누는 가정을 바탕으로 증강 과정을 잠재 변수 모델로 공식화한다. 이때 하나는 증강에 대해 불변으로 간주되는 콘텐츠 성분이고, 다른 하나는 변화할 수 있는 스타일 성분이다. 기존의 분리학습(Disentanglement) 및 독립 성분 분석(Independent Component Analysis) 연구들과 달리, 우리는 잠재 공간 내에서 비트리비얼한 통계적 및 인과적 의존성도 허용한다. 관측값의 쌍(view)을 기반으로 잠재 표현의 식별 가능성(identifiability)을 탐구하고, 생성적(generative) 및 판별적(discriminative) 설정 모두에서 불변 콘텐츠 부분을 가역적 변환까지는 식별할 수 있는 충분 조건을 증명한다. 수치 시뮬레이션을 통해 의존적인 잠재 변수를 가진 경우에도 이론과 일치하는 결과를 확인하였다. 마지막으로, 풍부한 인과적 의존성을 지닌 고차원이고 시각적으로 복잡한 이미지로 구성된 Causal3DIdent라는 새로운 데이터셋을 제안하며, 실질적으로 수행되는 데이터 증강의 효과를 탐구하는 데 활용한다.