테스트 시 도메인 적응을 위한 시각적 프롬프트 튜닝

모델은 실제 환경에서의 불가피한 분포 변화로 인해 성능 저하가 발생하지 않도록 테스트 시점에서 미처 보지 못한 데이터에 적응할 수 있어야 한다. 본 연구에서는 원천 데이터에 접근할 수 없으며 타겟 도메인에 대해 모델을 적응시키는 실용적이지만 도전적인 테스트 시점 적응(TTA, Test-Time Adaptation) 문제에 도전한다. 우리는 두 가지 핵심 요소를 갖춘 간단한 전략인 \textit{데이터 효율적 프롬프트 튜닝}(DePT, Data-efficient Prompt Tuning)을 제안한다. 첫째, DePT는 비전 트랜스포머에 시각적 프롬프트를 삽입하고, 적응 과정에서 오직 이 프롬프트만을 튜닝한다. 이와 같은 파라미터 효율적인 미세조정은 학습 목표의 노이즈에 과적합되지 않으면서도 모델 표현을 타겟 도메인에 효과적으로 적응시킬 수 있음을 발견했다. 둘째, DePT는 메모리 백업 기반의 온라인 의사라벨링을 통해 원천 표현을 타겟 도메인으로 부트스트랩한다. 또한, 프롬프트에 특화된 계층적 자기지도 학습 정규화를 공동 최적화하여 자기학습 과정에서 오류 누적이 발생하는 것을 완화한다. 훨씬 적은 튜닝 가능한 파라미터를 사용함에도 불구하고, DePT는 주요 적응 벤치마크인 VisDA-C, ImageNet-C, DomainNet-126에서 최신 기술 수준의 성능을 보이며, 뛰어난 데이터 효율성을 입증한다. 즉, 100% 데이터를 사용했을 때와 비교해 성능 저하가 거의 없이 1% 또는 10%의 데이터만으로도 적응이 가능하다. 더불어 DePT는 온라인 또는 다중 원천 TTA 설정으로도 유연하게 확장 가능하다.