컨텍스트 인지형 도메인 적응 기반 세그멘테이션

본 논문에서는 세분화(semantic segmentation) 분야에서 비지도 도메인 적응(unsupervised domain adaptation) 문제를 다룬다. 이 분야에는 두 가지 주요 과제가 존재한다. 즉, 어떤 정보를 두 도메인 간에 전이할 것인지(무엇을 전이할 것인가), 그리고 어떻게 그 정보를 전이할 것인지(어떻게 전이할 것인가)이다. 기존의 방법들은 주로 적대적 학습(adversarial learning)을 통해 도메인 불변 특징(domain-invariant features)을 적응시키는 데 초점을 맞추고 있다(무엇을 전이할 것인지). 그러나 세분화 작업에서 맥락적 종속성(context dependency)은 핵심적인 역할을 하며, 그 전이 가능성은 여전히 충분히 이해되지 않고 있다. 더불어, 두 도메인 간에 맥락 정보를 어떻게 전이할 것인지에 대한 연구는 아직 미비한 실정이다. 이러한 문제의식에서 출발하여, 본 연구에서는 자기 주의(self-attention) 기반의 교차 주의(cross-attention) 메커니즘을 제안하여 두 도메인 간의 맥락적 종속성을 포착하고, 전이 가능한 맥락을 적응시키는 방법을 제시한다. 이를 달성하기 위해 공간적(spatial) 및 채널적(channel) 시각에서 맥락 종속성을 적응시키는 두 가지 교차 도메인 주의 모듈을 설계하였다. 구체적으로, 공간 주의 모듈은 원천 도메인과 타겟 도메인 이미지 내 각 위치 간의 국소적 특징 종속성을 포착하고, 채널 주의 모듈은 두 도메인 간의 각 채널 맵 쌍 사이의 의미적 종속성을 모델링한다. 맥락 종속성을 적응시키기 위해, 본 연구는 두 도메인으로부터 맥락 정보를 선택적으로 통합하는 전략을 추가로 제안한다. 제안한 방법의 우수성은 "GTA5 → Cityscapes" 및 "SYNTHIA → Cityscapes" 데이터셋을 기반으로 한 실험을 통해 기존 최첨단 기법들과 비교하여 실험적으로 입증되었다.