Refign: 적응을 위한 의미 분할의 정렬 및 개선: 악화된 조건에 대한 적응

악조건 하의 시각적 환경에서 촬영된 이미지에 대한 밀도 높은 픽셀 수준의 의미적 레이블링(annotation)이 희소한 상황에서, 이러한 이미지의 의미적 세그멘테이션을 위한 비지도 도메인 적응(UDA, Unsupervised Domain Adaptation)에 대한 관심이 높아지고 있다. UDA는 일반적인 조건에서 학습된 모델을 목표로 하는 악조건 도메인에 적응시키는 기법이다. 한편, 여러 운전 시나리오 데이터셋은 동일한 장면을 다양한 조건에서 촬영한 이미지를 제공하며, 이는 도메인 적응을 위한 약한 지도 신호(weak supervision)로 활용될 수 있다. 본 연구에서는 이러한 다중 도메인 간 대응 관계를 활용하는, 자기 훈련 기반 UDA 방법의 일반적인 확장 방법인 Refign을 제안한다. Refign은 두 단계로 구성된다: (1) 불확실성 인식을 고려한 밀도 높은 매칭 네트워크를 사용하여 일반 조건 이미지를 해당 악조건 이미지와 정렬하고, (2) 적응형 레이블 보정 메커니즘을 통해 일반 조건에서의 예측 결과를 활용하여 악조건 예측을 보정하는 것이다. 본 연구는 각 단계를 효율적으로 처리하기 위해 전용 모듈을 설계하였으며, ACDC 및 Dark Zurich를 포함한 여러 악조건 기준 벤치마크에서 도메인 적응적 의미적 세그멘테이션의 최신 기준(SOTA, State-of-the-Art)을 달성하였다. 제안된 방법은 추가 학습 파라미터를 도입하지 않으며, 학습 시 최소한의 계산 부담만을 유발한다. 또한, 어떤 자기 훈련 기반 UDA 방법에도 즉시 통합하여 성능을 향상시킬 수 있는 '드롭인'(drop-in) 확장 기법으로 활용 가능하다. 코드는 https://github.com/brdav/refign 에서 공개되어 있다.