의미 분할에서 조건 간 강건성 위한 대비 모델 적응

일반적인 비지도 도메인 적응(unsupervised domain adaptation) 방법은 레이블이 부여된 소스 도메인 데이터와 레이블이 없는 타겟 도메인 데이터를 함께 사용하여 모델을 소스에서 타겟 도메인으로 적응시킨다. 반면, 모델 적응(model adaptation)의 경우 레이블이 부여된 소스 데이터에 접근할 수 없으며, 오직 소스 도메인에서 학습된 모델과 레이블이 없는 타겟 도메인 데이터만 사용 가능하다. 본 연구에서는 정상 상태에서 이상 상태로의 모델 적응을 위한 의미 분할(semantic segmentation) 문제를 다루며, 타겟 도메인에서는 이미지 수준의 대응 관계가 존재함을 전제로 한다. 타겟 데이터셋은 GPS 매칭된 위치에서 촬영된 이상 상태와 정상 상태의 도로 이미지 쌍으로 구성되며, 이는 레이블이 없음에도 불구하고 이미지 간의 대응 관계를 제공한다. 제안하는 방법인 CMA(Cross-condition Matching Adaptation)는 이러한 이미지 쌍을 활용하여 대조 학습(contrastive learning)을 통해 조건 불변 특징(condition-invariant features)을 학습한다. 특히 CMA는 임베딩 공간에서 특징이 입력의 촬영 조건이 아닌, 조건 불변적인 의미적 내용에 따라 그룹화되도록 유도한다. 정확한 도메인 간 의미적 대응 관계를 확보하기 위해, 정상 상태 이미지를 이상 상태 이미지의 시점(viewpoint)으로 왜곡(warp)한 후, 왜곡 신뢰도 점수(warp-confidence scores)를 활용하여 강건한 통합 특징을 생성한다. 이러한 접근 방식을 통해 ACDC 및 Dark Zurich와 같은 여러 정상-이상 상태 적응 벤치마크에서 모델 적응 분야에서 최고 성능을 달성하였다. 또한, 새로 확보한 이상 상태 일반화 벤치마크에서도 CMA를 평가하였으며, 소스 데이터 접근 불가로 인한 상대적 불리함에도 불구하고, 기존 비지도 도메인 적응 방법들과 비교하여 유리한 성능을 보였다. 코드는 https://github.com/brdav/cma 에서 공개되어 있다.