11일 전

메타-Regularization을 통한 프롬프트 학습

Jinyoung Park, Juyeon Ko, Hyunwoo J. Kim
메타-Regularization을 통한 프롬프트 학습
초록

사전 훈련된 시각-언어 모델은 제로샷 일반화 능력을 통해 다양한 컴퓨터 비전 작업에서 놀라운 성과를 보여주고 있다. 최근에는 다양한 하류 작업에 효율적이고 효과적으로 시각-언어 모델을 적응시키기 위해 프롬프트 학습 접근법이 탐구되고 있다. 그러나 기존의 대부분의 프롬프트 학습 방법은 특정 타겟 작업의 소규모 데이터셋에서 프롬프트를 미세조정하는 과정에서 사전 훈련된 시각-언어 모델의 일반 지식이 상실되면서 작업 과적합(overfitting) 문제에 시달리고 있다. 이 문제를 해결하기 위해, 본 연구에서는 시각-언어 모델의 프롬프트 학습의 일반화 능력을 향상시키기 위한 프롬프트 메타 정규화(Prompt Meta-Regularization, ProMetaR)를 제안한다. 구체적으로 ProMetaR는 소프트 프롬프트와 정규화 항을 동시에 메타학습함으로써, 하류 작업에서의 작업 특화 지식과 시각-언어 모델의 작업 무관한 일반 지식을 효과적으로 활용한다. 또한 ProMetaR는 작업을 증강하여 다수의 가상 작업을 생성함으로써 메타 과적합을 완화한다. 더불어, 기울기 일치(gradient alignment) 관점에서 ProMetaR가 프롬프트 튜닝의 일반화 능력을 어떻게 향상시키는지 분석을 제시한다. 광범위한 실험 결과를 통해 ProMetaR가 베이스 투 베이스/베이스 투 뉴 및 도메인 일반화 설정 하에서 기존 프롬프트 학습 방법의 일반화 성능을 개선함을 입증하였다. ProMetaR의 코드는 https://github.com/mlvlab/ProMetaR 에서 공개되어 있다.

메타-Regularization을 통한 프롬프트 학습 | 최신 연구 논문 | HyperAI초신경