대규모 언어 모델은 자기 개선이 가능하다

대규모 언어 모델(Large Language Models, LLMs)은 다양한 작업에서 뛰어난 성능을 달성해왔다. 그러나 LLM을 미세 조정(fine-tuning)하기 위해서는 방대한 레이블링된 데이터가 필요하다. 반면 인간은 외부 입력 없이 스스로 생각함으로써 추론 능력을 향상시킬 수 있다. 본 연구에서는 LLM 또한 외부 레이블 없이, 오직 레이블이 없는 데이터셋만을 활용해 자기 자신을 개선할 수 있음을 보여준다. 우리는 사전 훈련된 LLM을 사용하여 체인 오브 써포트(Chain-of-Thought) 프롬프팅과 자기 일관성(self-consistency) 기법을 통해 레이블이 없는 질문에 대해 '고신뢰도(high-confidence)'의 추론 과정을 보강한 답변을 생성하고, 이 자가 생성된 해답을 타겟 출력으로 삼아 LLM을 미세 조정한다. 실험 결과, 본 방법은 540B 파라미터를 가진 LLM의 일반적인 추론 능력을 향상시켰으며, GSM8K(74.4% → 82.1%), DROP(78.2% → 83.0%), OpenBookQA(90.0% → 94.4%), ANLI-A3(63.4% → 67.9%)에서 모두 성능이 향상되었으며, 지도 학습에 필요한 진실 레이블(ground truth label)이 전혀 필요 없음에도 불구하고 최신 기술 수준의 성능을 달성함을 입증하였다. 또한, 제거 실험(ablation studies)를 통해 추론 능력에 대한 미세 조정이 자기 개선 과정에서 핵심적인 역할을 함을 확인하였다.