도메인 일반화를 위한 소프트 프롬프트 생성

대규모 사전 훈련된 시각언어 모델(VLM)은 수동으로 설계된 프롬프트를 통해 하류 작업에서 놀라운 제로샷 성능을 보여왔다. 하류 작업에 VLM을 더 효과적으로 적응시키기 위해, 특정 도메인 데이터 기반으로 미세조정되는 소프트 프롬프트가 제안되었다. 기존의 프롬프트 학습 방법은 주로 훈련 샘플로부터 고정된 프롬프트 또는 잔여 프롬프트를 학습하는 데 집중하였다. 그러나 학습된 프롬프트는 다양성이 부족하고, 미지의 도메인에 대한 정보를 무시하는 단점이 있었다. 본 논문에서는 프롬프트 학습 프레임워크를 생성적 관점에서 재정의하고, 도메인 일반화(DG) 작업을 위한 간단하면서도 효율적인 방법인 소프트 프롬프트 생성(Soft Prompt Generation, SPG)을 제안한다. 구체적으로 SPG는 두 단계의 훈련 단계와 추론 단계로 구성된다. 훈련 단계에서는 각 도메인에 대해 소프트 프롬프트 레이블을 도입하여 생성 모델의 도메인 지식을 통합하는 것을 목표로 한다. 추론 단계에서는 생성 모델의 생성기(generator)를 활용하여 미지의 타깃 도메인에 대해 인스턴스별 소프트 프롬프트를 생성한다. 세 가지 DG 작업에 대한 다섯 개의 도메인 일반화 벤치마크에서 실시한 광범위한 실험 결과, SPG는 최고 성능을 달성함을 입증하였다. 코드는 https://github.com/renytek13/Soft-Prompt-Generation-with-CGAN 에서 공개되어 있다.