Prompt2Model: 자연어 지시로부터 배포 가능한 모델 생성하기

대규모 언어 모델(Large Language Models, LLMs)은 오늘날 시스템 개발자가 프롬프팅을 통해 자연어로 작업을 설명하고 몇 가지 예시를 제공함으로써 기능적인 NLP 시스템을 구축할 수 있도록 해준다. 그러나 다른 측면에서는 전통적인 전용 NLP 모델에 비해 한 발 뒤로 물러선 셈이다. LLM은 배포를 위해 막대한 계산 자원을 필요로 하며, API를 통해 접근이 제한되는 경우가 많기 때문이다. 본 논문에서는 LLM에 제공되는 프롬프트와 유사한 자연어 작업 설명을 입력으로 받아, 배포에 유리한 전용 모델을 훈련시키는 일반적인 방법인 Prompt2Model을 제안한다. 이는 기존의 데이터셋과 사전 훈련된 모델 검색, LLM을 활용한 데이터셋 생성, 그리고 검색 및 생성된 데이터셋을 기반으로 한 지도적 미세조정이라는 다단계 과정을 통해 이루어진다. 세 가지 작업에 대해 실험한 결과, 동일한 소수의 예시 프롬프트를 입력으로 받았을 때, Prompt2Model이 훈련한 모델은 강력한 LLM인 gpt-3.5-turbo의 성능을 평균 20% 이상 초과하며, 크기는 최대 700배 작아짐을 입증하였다. 또한 본 연구에서는 이러한 데이터를 활용해 모델 성능에 대한 신뢰할 수 있는 추정치를 도출할 수 있음을 보여주어, 개발자가 배포 전에 모델의 신뢰성을 평가할 수 있도록 한다. Prompt2Model은 오픈소스로 공개되었으며, GitHub에서 확인할 수 있다. https://github.com/neulab/prompt2model