PromptStyler: 프롬프트 기반 스타일 생성을 통한 소스 없는 도메인 일반화

공동 시각-언어 공간에서 "개 사진"과 같은 텍스트 특성이 개 사진의 관련 이미지 특성을 효과적으로 표현할 수 있습니다. 또한 최근 연구에서는 이 공동 공간의 다중 모달 전이 가능 현상을 입증하였습니다. 이러한 관찰 결과를 바탕으로, 우리는 이미지를 사용하지 않고 프롬프트를 통해 다양한 스타일을 합성하여 소스 없는 도메인 일반화를 처리하는 PromptStyler를 제안합니다. 제안된 방법은 학습 가능한 스타일 단어 벡터를 사용하여 가상 단어 S의 다양한 스타일 특성을 생성합니다("a S style of a" [S 스타일의 a]). 학습된 스타일이 콘텐츠 정보를 왜곡하지 않도록, "a S style of a [클래스]"와 같은 스타일-콘텐츠 특성이 해당 콘텐츠 특성("[클래스]") 근처에 위치하도록 강제합니다. 스타일 단어 벡터 학습 후, 합성된 스타일-콘텐츠 특성을 사용하여 선형 분류기를 훈련시킵니다. PromptStyler는 훈련 시 어떠한 이미지도 필요로 하지 않음에도 불구하고 PACS, VLCS, OfficeHome 및 DomainNet에서 최고 성능을 달성하였습니다.