머펫: 사전 미세조정을 통한 대규모 다중 작업 표현

우리는 언어 모델의 사전 훈련과 파인튜닝 사이에 추가적인 대규모 학습 단계인 '프리파인튜닝(pre-finetuning)'을 제안한다. 프리파인튜닝은 대규모 다중 작업 학습(massively multi-task learning)에 기반하며, 약 50개의 데이터셋과 총 480만 개 이상의 레이블된 예시를 활용한다. 이 과정은 다양한 작업에 더 잘 일반화되는 표현을 학습하도록 유도하기 위해 설계되었다. 우리는 프리파인튜닝이 문장 예측, 공감각적 추론, MRC 등 다양한 작업에서 사전 훈련된 분류 모델(RoBERTa 등)과 생성 모델(BART 등)의 성능을 일관되게 향상시킴을 보여주며, 파인튜닝 과정에서 샘플 효율성도 크게 향상시킨다. 또한 대규모 다중 작업 학습이 핵심임을 입증한다. 작업 수가 적을 경우, 특정 임계점(일반적으로 15개 이상)에 도달하기 전까지 프리파인튜닝은 성능을 저하시킬 수 있으나, 그 이후부터 작업 수와 비례하여 성능이 선형적으로 향상됨을 확인하였다.