정보 최대화 기준을 활용한 자기지도 학습

자기지도 학습(self-supervised learning, SSL)은 비용이 많이 드는 레이블링이 필요 없는 작업을 통해 대량의 데이터로부터 효과적인 표현을 학습할 수 있게 해준다. 그러나 모델이 모든 입력에 대해 동일한 표현을 생성하는 ‘모드 붕괴(mode collapse)’는 많은 자기지도 학습 방법에서 핵심적인 문제로, 입력의 왜곡된 변형 간 일치(matching)와 같은 자기지도 작업의 효과를 크게 저해한다. 본 논문에서는 동일한 입력에 대한 대안적 잠재 표현 간 정보 최대화의 간단한 적용이 이 붕괴 문제를 자연스럽게 해결하고, 경쟁력 있는 실험적 성과를 달성할 수 있음을 주장한다. 우리는 두 번째 차수 통계 기반의 상호정보량 측정법을 사용하는 자기지도 학습 방법인 CorInfoMax를 제안한다. 이 방법은 입력의 대안적 표현 간 상관관계 수준을 반영하는 상호정보량 측정법을 활용한다. 동일한 입력의 대안적 표현 간 이러한 상관 정보량을 최대화하는 것은 두 가지 목적을 달성한다: (1) 특징 벡터의 비퇴화된 공분산을 생성함으로써 모드 붕괴 문제를 방지한다; (2) 표현 간의 선형적 의존도를 증가시킴으로써 대안적 표현 간의 관련성을 강화한다. 제안된 정보 최대화 목적함수의 근사식은 특징 공분산 행렬의 로그 행렬식(log-determinant)으로 정규화된 유클리드 거리 기반 목적함수로 단순화된다. 이 정규화 항은 특징 공간의 퇴화(degeneracy)에 자연스럽게 저항하는 장벽 역할을 한다. 결과적으로, 단일 점으로의 완전한 출력 붕괴를 피할 뿐만 아니라, 정보가 전체 특징 공간에 걸쳐 퍼지도록 유도함으로써 차원 붕괴(dimensional collapse)도 방지한다. 수치 실험을 통해 CorInfoMax가 최신의 자기지도 학습 기법들과 비교하여 더 우수하거나 경쟁 가능한 성능을 달성함을 입증하였다.