확률적 대조 학습을 통한 도메인 적응

대조 학습(contrastive learning)은 자기지도 방식(self-supervised manner)으로 다양한 시각 작업에서 특징의 구분 능력을 향상시키는 데 놀라운 성과를 보여왔다. 그러나 표준 대조 학습 패러다임(특징 + $\ell_{2}$ 정규화)은 도메인 적응(domain adaptation)에 적용될 때 제한적인 이점을 제공한다. 본 연구에서는 이 현상의 주요 원인이 도메인 적응 최적화 과정에서 클래스 가중치(class weights, 즉 최종 완전 연결 계층의 가중치)를 무시하기 때문임을 발견하였다. 이로 인해 특징들이 해당 클래스 가중치 주변에 집합하는 것이 어려워진다. 이러한 문제를 해결하기 위해, 우리는 기존 패러다임을 넘어서는 '간단하면서도 강력한' 확률적 대조 학습(Probabilistic Contrastive Learning, PCL)을 제안한다. PCL은 $\ell_{2}$ 정규화를 제거하고 특징 대신 확률(probabilities)을 사용함으로써 기존 접근을 확장한다. 이를 통해 확률 분포를 one-hot 구성으로 유도함으로써 특징과 클래스 가중치 간의 불일치를 최소화할 수 있다. 다양한 실험을 통해 PCL의 효과성을 검증한 결과, 무 supervision/반 supervision 도메인 적응(UDA/SSDA), 반 supervision 학습(SSL), UDA 감지 및 세그멘테이션 등 다섯 가지 작업에서 일관된 성능 향상을 관측하였다. 특히, SYNTHIA 데이터셋에서의 UDA 세그멘테이션 작업에서 PCL은 복잡한 CPSL-D보다 mean IoU 기준으로 2% 이상 뛰어나며, 훨씬 낮은 학습 비용(학습 장비: PCL: 1×3090, 5일 대비 CPSL-D: 4×V100, 11일)을 기록하였다. 코드는 https://github.com/ljjcoder/Probabilistic-Contrastive-Learning 에서 공개되어 있다.