피니터uned 언어 모델은 제로샷 학습자이다

이 논문은 언어 모델의 제로샷 학습 능력을 향상시키는 간단한 방법을 탐구한다. 본 연구에서는 지시 조정(instruction tuning) — 즉, 자연어 지시 템플릿을 통해 서술된 다양한 작업들에 대해 언어 모델을 미세 조정(finetuning)하는 기법 — 이 미지의 작업에 대한 제로샷 성능을 크게 향상시킨다는 것을 보여준다. 우리는 1370억 파라미터를 가진 사전 학습된 언어 모델을 취하고, 자연어 지시 템플릿을 통해 표현된 60개 이상의 자연어 처리(NLP) 작업 데이터셋에 대해 지시 조정을 수행한다. 이 지시 조정된 모델을, 우리가 FLAN이라 명명한 모델은 미지의 작업 유형에 대해 평가된다. FLAN은 수정되지 않은 기준 모델에 비해 성능을 크게 향상시키며, 평가한 25개 작업 중 20개에서 제로샷 1750억 파라미터 GPT-3보다 뛰어난 성능을 보였다. 특히 ANLI, RTE, BoolQ, AI2-ARC, OpenbookQA, StoryCloze 등의 작업에서는 희소 샘플(few-shot) GPT-3보다도 크게 우수한 성능을 기록했다. 제거 분석(ablation studies)을 통해, 미세 조정 데이터셋의 수, 모델 규모, 그리고 자연어 지시의 활용이 지시 조정의 성공에 핵심적인 요소임을 확인할 수 있었다.