스터프와 싱글에 대한 차별적 대우: 의미 분할을 위한 간단한 비지도 도메인 적응 방법

본 연구에서는 소스 도메인(합성 데이터)과 타겟 도메인(실제 데이터) 간의 도메인 차이를 완화함으로써 비지도 도메인 적응(unsupervised domain adaptation)을 위한 세분화(Semantic Segmentation) 문제를 다룬다. 최신 기법들은 세분화 수준의 정렬(semantic-level alignment)이 도메인 차이 문제를 해결하는 데 도움이 된다는 점을 입증하고 있다. 다양한 도메인의 이미지 간에 'stuff'(일반적인 배경 또는 질감 요소) 카테고리는 일반적으로 유사한 외관을 공유하는 반면, 'things'(객체 인스턴스)는 상당한 차이를 보인다는 관찰에 기반하여, 본 연구에서는 'stuff' 영역과 'things' 영역에 대해 각각 다른 전략을 적용하여 세분화 수준의 정렬을 개선한다. 구체적으로, 1) 'stuff' 카테고리의 경우, 각 클래스별로 특징 표현을 생성하고, 타겟 도메인에서 소스 도메인으로의 정렬 작업을 수행한다. 2) 'things' 카테고리의 경우, 각 개별 인스턴스에 대해 특징 표현을 생성하고, 타겟 도메인의 인스턴스가 소스 도메인에서 가장 유사한 인스턴스와 정렬되도록 유도한다. 이를 통해 'things' 카테고리 내의 개별 차이를 고려함으로써 과도한 정렬(over-alignment) 문제를 완화할 수 있다. 본 연구에서 제안하는 방법 외에도, 현재 널리 사용되는 적대적 손실(adversarial loss)이 분포 차이를 최소화하는 과정에서 자주 불안정해지는 이유를 밝히며, 소스 도메인과 타겟 도메인 간 가장 유사한 'stuff' 및 'things' 특징을 최소화함으로써 이 문제를 완화할 수 있음을 보여준다. 또한, GTA5 → Cityscapes 및 SYNTHIA → Cityscapes라는 두 가지 비지도 도메인 적응 설정에서 광범위한 실험을 수행하여, 기존 최고 성능을 넘어선 새로운 최고 수준의 세분화 정확도를 달성하였다.