컨텐츠 일관성 매칭을 통한 도메인 적응형 세그멘테이션

본 논문은 합성 소스 도메인에서 실제 타겟 도메인으로의 의미 분할(adaptation) 문제를 다룬다. 대부분의 기존 연구들이 적대적 기반 도메인 정합(adversarial-based domain alignment) 솔루션 개발에 초점을 맞추는 것과 달리, 본 연구는 새로운 관점인 콘텐츠 일관성 매칭(content-consistent matching, CCM)을 통해 이 도전적인 과제를 접근한다. CCM의 목적은 타겟 도메인의 실제 이미지와 유사한 분포를 가진 합성 이미지를 선별하여, 이를 학습에 활용함으로써 도메인 간 차이를 자연스럽게 완화하는 것이다. 구체적으로, CCM은 두 가지 측면에서 촉진된다. 즉, 의미 레이아웃 매칭과 픽셀 단위 유사성 매칭이다. 먼저, 소스 도메인의 모든 합성 이미지를 사용하여 초기 분할 모델을 학습한 후, 이 모델을 활용하여 타겟 도메인의 레이블이 없는 이미지에 대해 대략적인 픽셀 수준의 레이블을 생성한다. 실제 이미지와 합성 이미지에 대해 각각의 정확한/대략적인 레이블 맵을 확보한 후, 수평 및 수직 방향에서 의미 레이아웃 행렬을 구성하고, 이를 기반으로 행렬 매칭을 수행하여 실제 이미지와 유사한 의미 레이아웃을 가진 합성 이미지를 탐색한다. 두 번째로, 높은 신뢰도를 가진 예측 레이블을 선택하여 타겟 도메인의 모든 클래스에 대한 특징 임베딩을 생성하고, 탐지된 레이아웃 일관성 합성 이미지에 대해 픽셀 단위 매칭을 수행하여 외관 일관성 있는 픽셀을 추출한다. 제안하는 CCM을 통해, 단지 콘텐츠 일관성 있는 합성 이미지만이 분할 모델 학습에 활용되며, 이는 콘텐츠 무관한 합성 이미지로 인한 도메인 편향을 효과적으로 완화할 수 있다. 제안된 방법은 대표적인 두 가지 도메인 적응 작업, 즉 GTA5 → Cityscapes 및 SYNTHIA → Cityscapes에서 광범위한 실험을 수행하였으며, 기존 기준선 대비 일관된 성능 향상을 보였으며, 기존 최고 수준의 기법들과 경쟁적으로 우수한 성능을 나타냈다.