다양한 도메인 간의 의미 분할을 위한 도메인 불변 상호 관계 전이

최근 몇 년 동안, 실사와 유사한 합성 데이터를 활용하여 의미 분할 모델을 훈련하는 것에 대한 관심이 점점 증가하고 있다. 그러나 합성 이미지와 실제 이미지 사이의 도메인 불일치는 합성 이미지로 훈련된 모델을 실세계 시나리오에 직접 적용할 경우 성능이 크게 저하되는 원인이 된다. 본 논문에서는 새로운 도메인 적응 방법인 Pivot Interaction Transfer(PIT)을 제안한다. 본 방법은 합성 도메인에서 실세계 도메인으로의 의미 분할 모델 적응을 촉진하기 위해, 두 도메인 간에 공유되는 공통 지식인 핵심 정보(pivot information)를 구축하는 데 주목한다. 구체적으로, 본 연구는 타겟 이미지의 이미지 수준 카테고리 정보를 추론한 후, 이 정보를 바탕으로 픽셀 수준의 의미 정보 전이를 촉진한다. 이 과정은 이미지 수준의 카테고리 정보와 픽셀 수준의 의미 정보 간의 상호작용 관계가 도메인 간에 불변(invariant)하다는 가정에 기반한다. 이를 달성하기 위해, 이미지 수준과 픽셀 수준의 정보를 동시에 정렬하는 새로운 다중 수준 영역 확장 기법을 제안한다. GTAV 및 SYNTHIA에서 Cityscapes로의 도메인 적응에 대한 종합적인 실험을 통해 본 방법의 우수성을 명확히 입증하였다.