자기조절 프롬프트: 잊혀지지 않는 기초 모델 적응

프롬프트 학습은 CLIP과 같은 기초 모델을 다양한 하류 작업에 효과적으로 적용하기 위한 효율적인 대안으로 부상하고 있다. 기존의 방법은 작업에 특화된 목적 함수, 즉 크로스 엔트로피 손실을 사용하여 프롬프트를 학습하지만, 이는 하류 데이터 분포에 과적합되는 경향이 있으며, 고정된 CLIP 모델로부터 작업에 독립적인 일반화 특징을 포착하는 데 어려움을 겪는다. 이로 인해 모델의 원래 일반화 능력이 손실된다. 이러한 문제를 해결하기 위해 본 연구는 프롬프트 학습을 위한 자가 정규화 프레임워크인 PromptSRC(Prompting with Self-regulating Constraints)를 제안한다. PromptSRC는 세 가지 접근 방식을 통해 프롬프트가 작업에 특화된 표현과 작업에 독립적인 일반화 표현을 동시에 최적화하도록 안내한다. 첫째, 고정된 모델과의 상호 일치도를 극대화함으로써 프롬프트 표현을 규제한다. 둘째, 프롬프트의 자기 앙상블을 학습 경로 전체에 걸쳐 적용하여 각 프롬프트의 보완적 강점을 효과적으로 통합한다. 셋째, 시각적 브랜치와의 샘플 다양성 불균형을 완화하기 위해 텍스트 다양성을 활용하여 규제한다. 저희의 지식에 따르면, 이는 사전 훈련된 모델의 특징, 프롬프트 학습 과정 중의 훈련 경로, 그리고 텍스트 다양성에 동시에 주목함으로써 과적합을 방지하는 최초의 정규화 프레임워크이다. PromptSRC는 하류 작업에서의 성능을 극대화하면서도 CLIP의 일반화 능력을 훼손하지 않도록 프롬프트가 표현 공간을 학습하도록 명시적으로 안내한다. 우리는 4개의 벤치마크에서 광범위한 실험을 수행하였으며, 기존 방법들과 비교하여 PromptSRC가 전반적으로 우수한 성능을 보였다. 본 연구의 코드와 사전 훈련된 모델은 공개되어 있으며, 다음 링크에서 확인할 수 있다: https://github.com/muzairkhattak/PromptSRC.