초록
우리는 대조 학습을 통해 학습된 구분 가능한 표현과 잠재 혼합 모델이 포착한 의미 구조를 동시에 활용하는 통합 확률적 클러스터링 프레임워크인 대조 전문가 혼합(Mixture of Contrastive Experts, MiCE)을 제안한다. 전문가 혼합(Mixture of Experts)의 아이디어에 영감을 받아 MiCE는 잠재적인 의미에 따라 레이블이 없는 데이터셋을 부분 집합으로 분할하는 게이팅 함수를 사용하며, 각 부분 집합에 할당된 인스턴스들을 대조 학습 방식으로 구분하는 여러 전문가를 활용한다. 잠재 변수로 인해 발생하는 비트리비얼한 추론 및 학습 문제를 해결하기 위해, MiCE를 위한 확장 가능한 기대값-최대화(Expectation-Maximization, EM) 알고리즘의 변형을 개발하였으며, 수렴성에 대한 증명을 제시한다. 실증적으로, MiCE의 클러스터링 성능을 네 가지 널리 사용되는 자연 이미지 데이터셋에서 평가하였다. 그 결과, 기존의 다양한 방법 및 강력한 대조 학습 기준 모델보다 유의미하게 뛰어난 성능을 달성하였다.