자기지도(depth estimation)를 통한 도메인 적응형 세분화(segmentation)

세밀한 분할을 위한 도메인 적응은 소스 도메인과 타겟 도메인 간의 분포 차이가 존재하는 상황에서 모델 성능을 향상시키는 것을 목표로 한다. 보조 작업(예: 깊이 추정)에서 얻은 지도 정보를 활용하면, 여러 시각적 작업이 서로 밀접하게 연관되어 있으므로 이러한 분포 차이를 완화할 수 있는 잠재력이 있다. 그러나 이러한 지도 정보는 항상 존재하는 것은 아니다. 본 연구에서는 두 도메인 모두에서 활용 가능한 자기지도 깊이 추정의 안내를 활용하여 도메인 간 격차를 메우는 방법을 제안한다. 한편으로는, 타겟 도메인의 깊이 추정을 활용하여 타겟 세밀한 분할 예측을 강화하기 위해 작업 특징 간 상관관계를 명시적으로 학습하는 방식을 제안한다. 다른 한편으로는, 소스 도메인과 타겟 도메인의 깊이 추정 디코더 간의 예측 차이를 이용해 픽셀 단위의 적응 어려움을 근사한다. 이와 같이 깊이로부터 추론된 적응 어려움은 타겟 세밀한 분할의 의사 레이블을 보정하는 데 사용된다. 제안된 방법은 기존의 분할 프레임워크에 쉽게 통합할 수 있다. 제안한 방법의 유효성을 SYNTHIA-to-Cityscapes 및 GTA-to-Cityscapes와 같은 벤치마크 작업에서 입증하였으며, 각각 55.0%와 56.6%의 새로운 최고 성능을 달성하였다. 본 연구의 코드는 \url{https://qin.ee/corda}에서 공개되어 있다.