기반 프롬프트 분포 정렬을 통한 비지도 도메인 적응

최근 들어 대규모 사전 학습된 시각-언어 모델(VLM)은 다양한 하류 작업에서 사전에 없던 성과를 거두고 있으나, 실세계에서의 비지도 도메인 적응(UDA) 문제는 여전히 충분히 탐구되지 않았다. 본 논문에서는 먼저 실험적으로 비지도 학습된 VLM이 소스 도메인과 타겟 도메인 간의 분포 차이를 상당히 줄일 수 있음을 입증한다. 이는 UDA의 성능 향상에 기여한다. 그러나 이러한 모델을 하류 UDA 작업에 직접 적용할 때의 주요 과제는 프롬프트 엔지니어링이다. 이는 소스 도메인과 타겟 도메인의 도메인 지식을 일치시켜야 하며, UDA 성능은 우수한 도메인 불변 표현에 크게 영향을 받기 때문이다. 이를 해결하기 위해 우리는 도메인 지식을 프롬프트 학습에 통합할 수 있는 프롬프트 기반 분포 적합(Prompt-based Distribution Alignment, PDA) 방법을 제안한다. 구체적으로 PDA는 기저 브랜치와 적합 브랜치로 구성된 이중 브랜치 프롬프트 튜닝 방식을 사용한다. 기저 브랜치는 클래스 관련 표현을 프롬프트에 통합하여 서로 다른 클래스 간의 구분력을 보장한다. 적합 브랜치는 소스 도메인과 타겟 도메인 각각에 대해 특징 백업(feature bank)을 구성하고, 이미지 유도 특징 튜닝(image-guided feature tuning, IFT) 기법을 제안하여 입력이 특징 백업에 주목하도록 유도한다. 이를 통해 모델 내부에 자가 강화된 특징과 교차 도메인 특징을 효과적으로 통합할 수 있다. 이러한 두 브랜치는 서로 보완적으로 작용하여 VLM의 UDA 적응 능력을 향상시킨다. 우리는 세 가지 벤치마크에서 광범위한 실험을 수행하여 제안하는 PDA가 최첨단 성능을 달성함을 입증하였다. 코드는 https://github.com/BaiShuanghao/Prompt-based-Distribution-Alignment 에 공개되어 있다.