비교 학습과 자기 훈련을 통한 의미 분할에서의 비지도 도메인 적응

딥 컨볼루션 신경망은 의미 분할(semantic segmentation) 분야에서 최첨단 성능을 크게 향상시켰다. 그러나 현대적인 아키텍처들조차도 다른 도메인에서 유래한 테스트 데이터셋에 대해 잘 일반화되지 못하는 한계를 가지고 있다. 예측 불가능한 도메인에 대한 훈련 데이터를 비용이 많이 드는 라벨링 작업 없이 처리하기 위해, 비지도 도메인 적응(unsupervised domain adaptation, UDA) 기법은 라벨이 부여된 소스 도메인에서 라벨이 없는 타겟 도메인으로 효율적인 지식 전이를 시도한다. 기존의 연구들은 주로 적대적 훈련(adversarial training)이나 자기 훈련(self-training)을 통해 두 도메인 간의 차이를 최소화하는 데 초점을 맞추었다. 그러나 적대적 훈련은 전반적인 분포 간의 차이를 최소화하려는 경향이 있어 올바른 의미적 카테고리 간의 정렬을 보장하지 못할 수 있으며, 자기 훈련은 신뢰할 수 있는 의사 라벨(pseudo-label)을 어떻게 생성할지에 대한 문제를 제기한다. 본 연구에서는 도메인 간 의미적 카테고리의 정확한 정렬을 가능하게 하기 위해, 카테고리별 중심점(category-wise centroids)을 도메인 간에 적응시키는 대조 학습(contrastive learning) 방법을 제안한다. 또한, 메모리 효율적인 시간적 앙상블(temporal ensemble)을 활용하여 일관성 있고 신뢰할 수 있는 의사 라벨을 생성하는 자기 훈련 기법을 본 방법에 확장하였다. 대조 학습과 자기 훈련(CLST)을 시간적 앙상블을 통해 결합함으로써, 두 기법은 서로 보완적인 구조를 형성하게 된다. 제안한 방법은 GTA5 → Cityscapes 및 SYNTHIA → Cityscapes 두 가지 도메인 적응 벤치마크에서 검증되었으며, 기존 최고 성능 기법과 비교해 우수하거나 유사한 성능을 달성하였다. 코드는 공개 예정이다.