도메인 일반화된 세분화를 위한 협업 기반 모델

도메인 일반화 세그멘테이션(Domain Generalized Semantic Segmentation, DGSS)은 레이블이 부여된 소스 도메인에서 모델을 훈련시켜 추론 시에 알려지지 않은 도메인으로 일반화하는 것을 목표로 한다. 기존의 DGSS 방법들은 주로 도메인 랜덤화(Domain Randomization, DR)를 통해 강건한 특징을 추출한다. 그러나 이러한 접근 방식은 스타일의 다양성만을 고려할 뿐 콘텐츠의 다양성에는 대응할 수 없어 한계가 있다. 본 연구에서는 DGSS에 대해 보완적인 접근 방식을 제안하며, 도메인 일반화 세그멘테이션을 위한 공동 기반 모델의 조합(CoLlaborative FOUndation models for Domain Generalized Semantic Segmentation, CLOUDS)을 사용한다. 구체적으로 CLOUDS는 다양한 종류의 기반 모델(FMs)을 통합하는 프레임워크로, (i) 강건한 특징 표현을 위한 CLIP 백본, (ii) 콘텐츠 다양성을 확보하여 가능한 타겟 분포의 다양한 모드를 포괄할 수 있도록 하는 생성 모델, (iii) 세그멘테이션 모델의 예측을 반복적으로 정교화하는 Segment Anything Model(SAM)을 포함한다. 광범위한 실험 결과에 따르면, CLOUDS는 합성 데이터에서 실제 데이터로의 일반화 및 다양한 기상 조건 하에서도 기존 방법보다 평균 mIoU 기준으로 각각 5.6%, 6.7% 우수한 성능을 보였다. 코드는 다음과 같은 주소에서 공개되어 있다: https://github.com/yasserben/CLOUDS