CoDA: 심각도 인지 시각 프롬프트 튜닝을 통한 지시 기반 도메인 적응 사슬

비지도 도메인 적응(Unsupervised Domain Adaptation, UDA)은 레이블이 있는 소스 도메인에서의 모델을 레이블이 없는 타겟 도메인으로 적응시키는 것을 목표로 한다. 특히 악조건 환경에 적응할 경우, 기존의 UDA 방법들은 지시(instruction)가 부족하여 모든 악조건 환경 내의 차이점을 간과하게 되어 성능이 저하된다. 이를 해결하기 위해 우리는 CoDA를 제안한다. CoDA는 환경 수준과 이미지 수준에서 이러한 차이점을 구분하고 집중하며 학습할 수 있도록 모델을 지시하는 방식을 제공한다. 구체적으로 CoDA는 도메인 체인(Chain-of-Domain, CoD) 전략과 심각도 인지 시각 프롬프트 튜닝(Severity-Aware Visual Prompt Tuning, SAVPT) 메커니즘으로 구성된다. CoD는 환경 수준의 지시를 중심으로, 모든 악조건 환경을 쉬운 환경과 어려운 환경으로 분류한다. 이를 통해 모델은 쉬운 환경 이미지를 활용해 소스 도메인에서 쉬운 환경으로 먼저 적응한 후, 어려운 환경 이미지를 사용해 어려운 환경으로 점진적으로 적응하도록 안내함으로써 전체 적응 과정에 견고한 기반을 마련한다. 이러한 기반 위에서, 더 세부적인 이미지 수준의 지시를 통해 성능을 향상시키기 위해 SAVPT를 도입한다. SAVPT는 새로운 지표인 ‘심각도(Severity)’를 도입하여 모든 악조건 환경 이미지를 저심각도 이미지와 고심각도 이미지로 분류한다. 이후 심각도는 시각 프롬프트와 어댑터를 조정하여, 모델이 환경 특화된 특징이 아닌 통합된 심각도 특징에 집중하도록 유도함으로써 모델 아키텍처의 복잡성을 증가시키지 않으면서도 성능 향상을 달성한다. CoDA는 다양한 악조건 환경에서 널리 사용되는 벤치마크에서 최고 성능(SOTA)을 달성하였다. 특히, Foggy Driving 벤치마크에서 기존 방법 대비 4.6% 향상되고, Foggy Zurich 벤치마크에서는 10.3%의 mIoU 향상을 기록하였다. 코드는 https://github.com/Cuzyoung/CoDA 에서 공개되어 있다.