생성형 다중모달 사전학습 모델을 위한 프롬프트 튜닝

프롬프트 튜닝은 모델 튜닝의 새로운 패러다임으로 자리 잡았으며, 자연어 사전학습은 물론 비전 사전학습에서도 성공을 거두었다. 본 연구에서는 대조적 사전학습 모델이 아닌 생성형 다모달 사전학습 모델에 프롬프트 튜닝을 적용하는 전이 가능성에 대해 탐구한다. 구체적으로, 이해 및 생성 작업 모두에 적응 가능한 통합 시퀀스-투-시퀀스 사전학습 모델에 프롬프트 튜닝을 구현하였다. 실험 결과, 경량 프롬프트 튜닝이 전통적인 파인튜닝과 유사한 성능을 달성할 뿐만 아니라, 다른 경량 튜닝 방법보다 우수한 성능을 보였다. 또한, 파인튜닝된 모델과 비교했을 때 프롬프트 튜닝된 모델은 적대적 공격에 대해 더 뛰어난 내성성을 보였다. 더 나아가, 프롬프트 길이, 프롬프트 깊이, 재매개변수화(reparameterization)와 같은 실험적 요인이 모델 성능에 큰 영향을 미친다는 점을 확인하였으며, 이를 바탕으로 프롬프트 튜닝 설정에 대한 경험적 권고안을 제시한다. 비록 관측된 장점이 있지만, 여전히 프롬프트 튜닝에 한계가 있음을 발견하였고, 향후 연구 방향을 제시하였다. 코드는 \url{https://github.com/OFA-Sys/OFA}에서 확인할 수 있다.