적응을 통한 일반화: 도메인 일반화 세그멘테이션을 위한 확산 기반 도메인 확장

세마틱 세그멘테이션과 같은 모델이 훈련 데이터와 극적으로 다른 이미지에 적용될 경우 성능이 크게 저하된다. 도메인 적응(domain adaptation) 기법은 이 문제를 해결하려는 시도를 하지만, 타겟 도메인의 샘플이 필요하다. 그러나 다양한 이유로 이러한 샘플 확보가 항상 가능하지는 않으며, 이에 따라 타겟 데이터를 요구하지 않는 도메인 일반화(domain generalization) 기법이 유용하다. 본 연구에서는 새로운 확산 기반 도메인 확장(Diffusion-based Domain Extension, DIDEX) 방법을 제안하고, 확산 모델을 활용해 다양한 텍스트 프롬프트를 기반으로 가상의 타겟 도메인 이미지를 생성한다.従래의 방법들과 달리, 본 방법은 생성된 이미지의 스타일과 콘텐츠를 제어할 수 있으며, 높은 다양성을 도입할 수 있다. 두 번째 단계에서, 이 가상의 타겟 도메인에 맞춰 일반화 모델을 훈련시킨다. 실제 데이터를 전혀 사용하지 않고도 다양한 데이터셋과 아키텍처에서 기존 방법들을 크게 앞서는 성능을 달성하였다. 특히 GTA5에서의 일반화 성능을 평균 3.8%p 향상시키며, SYNTHIA에서는 11.8%p 향상시켜 이 두 벤치마크에서의 일반화 성능 향상에 중요한 진전을 이뤘다. 코드는 https://github.com/JNiemeijer/DIDEX 에서 공개되어 있다.