분포 이동에 적응하기 위한 시각 도메인 프롬프트 생성

본 논문에서는 테스트 시점에 소량의 레이블 없는 데이터를 활용하여 모델을 적응시킴으로써 분포 변화(distribution shifts) 문제를 해결하고자 한다. 제한된 데이터 양에서 도메인 지식을 효과적으로 추출하는 데 있어, 사전 훈련된 백본과 소스 도메인으로부터 상관 정보를 적절히 활용하는 것은 매우 중요하다. 기존 연구들은 강한 비정상 분포 일반화 능력을 지닌 최신 기초 모델(foundation models)을 활용하지 못했으며, 도메인 중심의 설계 원칙도 반영되지 않았다. 또한, 소스 도메인 모델링 과정과 적응 학습 과정을 별개의 훈련 단계로 나누어 독립적으로 수행하는 방식을 사용하였다. 본 연구에서는 기초 모델의 사전 계산된 특징 위에 기반한 새로운 접근법을 제안한다. 구체적으로, 소스 도메인으로부터 전이 가능한 지식을 학습하기 위한 지식 베이스(knowledge bank)를 구축한다. 소량의 타겟 데이터를 조건으로 하여, 지식 베이스를 특정 도메인에 특화된 프롬프트로 압축하는 도메인 프롬프트 생성기(domain prompt generator)를 도입한다. 생성된 도메인 프롬프트는 가이던스 모듈을 통해 시각적 특징을 특정 도메인 방향으로 유도한다. 더불어, 도메인 인지형 대조 손실(contrastive loss)을 제안하고 메타 학습(meta-learning) 기법을 활용하여 도메인 지식 추출을 보다 효과적으로 촉진한다. 다양한 실험을 통해 제안한 도메인 지식 추출 방식의 타당성을 검증하였으며, WILDS 및 DomainNet을 포함한 5개의 대규모 벤치마크에서 기존 방법들을 상회하는 성능을 달성하였다.