Command Palette
Search for a command to run...
훈련(Training)은 데이터를 반복하여 모델 매개변수를 조정함으로써 모델이 입력에서 출력으로의 매핑 관계를 적합하도록 만드는 것을 의미합니다. 현재 대규모 모델은 일반적으로 2단계 프로세스를 채택합니다. 1단계에서는 방대한 텍스트 데이터셋에서 사전 학습을 수행하며, 그 목표는 다음 토큰을 예측하는 것입니다. 2단계에서는 소량의 고품질 데이터를 사용하여 후속 학습을 수행하여 모델의 동작을 텍스트 지속 생성에서 지시 사항 따르기로 전환시킵니다.
2022년, Ouyang 등은 논문 《Training language models to follow instructions with human feedback》에서 후속 학습의 표준적인 프로세스를 제시했습니다. 먼저 주석자가 모범 답안을 작성한 후, 동일한 질문에 대한 여러 출력 결과에 대한 인간의 선호 순위에 기반하여 보상 신호를 구성하고, 이를 바탕으로 모델을 지속적으로 최적화합니다. 그 결과, 매개변수 수가 13억(1.3B)인 InstructGPT의 출력은 매개변수 수가 1750억(175B)인 GPT-3보다 인간의 선호를 더 많이 받았습니다. 전자의 매개변수 수는 후자의 약 1%에 불과하지만, 사실성과 독성 지표에서 더 나은 성능을 보였습니다. 이 결과는 후속 학습이 매개변수 규모를 확대하지 않고도 모델의 사용성을 크게 향상시킬 수 있음을 시사합니다. 이후 “사전 학습 + 후속 학습”은 대규모 모델 훈련의 표준 프로세스가 되었습니다.