Visual Prompt Tuning

Visual Prompt Tuning (VPT)는 사전 학습된 Transformer 백본을 동결한 상태에서 입력 공간에 소수의 작업별 학습 가능한 매개변수를 도입하는 파라미터 효율적인 미세 조정 방법입니다. 다운스트림 작업 학습 시, 이러한 매개변수들은 선형 헤드와 함께 최적화됩니다. VPT는 저데이터 환경에서 우수한 성능을 보이며, 다양한 데이터 스케일에서도 이점이 지속됩니다. 또한, VPT는 다양한 Transformer 스케일과 설계(ViT Base/Large/Huge, Swin 등)와 경쟁력이 있어, 점점 더 커지는 시각적 백본 네트워크에 효과적으로 적응할 수 있는 접근 방식입니다.