MIC: 마스크된 이미지 일관성으로 문맥 강화 도메인 적응 실현

비지도 도메인 적응(UDA)에서, 소스 데이터(예: 합성 데이터)로 훈련된 모델은 대상 주석에 접근할 수 없는 상태에서 대상 데이터(예: 실제 세계 데이터)에 적응됩니다. 대부분의 이전 UDA 방법들은 대상 도메인에서 비슷한 시각적 외관을 가진 클래스들을 처리하는 데 어려움을 겪습니다. 이는 지도 정보가 없기 때문에 미세한 외관 차이를 학습하기 어렵기 때문입니다. 이러한 문제를 해결하기 위해, 우리는 대상 도메인의 공간적 맥락 관계를 강력한 시각 인식을 위한 추가적인 단서로 활용하는 마스크 이미지 일관성(MIC) 모듈을 제안합니다. MIC는 무작위 패치가 제거된 마스크 처리된 대상 이미지의 예측과, 지수 이동 평균 교사 모델이 전체 이미지를 기반으로 생성한 의사 라벨 사이의 일관성을 강제합니다. 일관성 손실을 최소화하기 위해서는 네트워크가 마스크 처리된 영역의 예측을 그 맥락에서 추론하도록 학습해야 합니다. MIC는 간단하고 보편적인 개념으로, 이미지 분류, 의미 세분화, 객체 검출 등 다양한 시각 인식 작업에 걸쳐 여러 UDA 방법들에 통합될 수 있습니다. MIC는 합성-실제, 낮-밤 시간대, 맑음-나쁨 날씨 등의 UDA 환경에서 다른 인식 작업들의 최신 성능을 크게 개선하였습니다. 예를 들어, MIC는 GTA-to-Cityscapes와 VisDA-2017에서 각각 75.9 mIoU와 92.8%라는 전례 없는 UDA 성능을 달성하였으며, 이는 이전 최신 기술보다 각각 +2.1 및 +3.0 백분율 포인트 향상된 것입니다. 본 연구의 구현은 https://github.com/lhoyer/MIC 에서 확인할 수 있습니다.