스타일 환각 이중 일관성 학습을 통한 도메인 일반화 세그멘테이션

본 논문에서는 단순히 합성 데이터만을 사용하여 미리 보지 못한 실제 세계 환경에 대해 강건한 모델을 학습하는 '합성 → 실제 도메인으로의 일반화된 세분화(Generalized Semantic Segmentation)' 문제를 탐구한다. 합성 데이터와 실제 세계 데이터 간의 큰 도메인 차이, 특히 제한된 원천 환경 변화와 합성 및 실제 데이터 간의 큰 분포 차이가, 미리 보지 못한 실제 세계 환경에서의 모델 성능을 크게 저해한다. 본 연구에서는 이러한 도메인 차이를 극복하기 위해 스타일-홀루시네이션 듀얼 일관성 학습(Style-HAllucinated Dual Consistency learning, SHADE) 프레임워크를 제안한다. 구체적으로, SHADE는 두 가지 일관성 제약 조건인 스타일 일관성(Style Consistency, SC)과 회상 일관성(Retrospection Consistency, RC)을 기반으로 설계된다. SC는 다양한 스타일을 가진 샘플 간에 일관된 표현을 학습하도록 유도하며, 원천 환경의 다양성을 풍부하게 한다. RC는 실제 세계 지식을 활용하여 모델이 합성 데이터에 과적합되는 것을 방지함으로써, 합성 데이터와 실제 세계 데이터 간의 표현 일관성을 크게 유지한다. 또한, 일관성 학습에 필수적인 스타일 다양화 샘플을 생성하기 위해 새로운 스타일 홀루시네이션 모듈(Style Hallucination Module, SHM)을 제안한다. SHM은 원천 분포에서 기초 스타일을 선택하여 학습 중에 동적으로 다양한 실감적인 샘플을 생성할 수 있도록 한다. 실험 결과, 제안하는 SHADE는 단일 소스 및 다중 소스 설정에서 각각 3개의 실제 세계 데이터셋에 대한 평균 mIoU에서 기존 최상의 방법보다 각각 5.05%, 8.35% 향상시켜 뚜렷한 성능 개선을 보였다.