지식 증류(Knowledge Distillation, KD)는 대규모 언어 모델(Large Language Models, LLMs)의 높은 계산 요구량을 줄이는 데 유망한 기술로 주목받고 있다. 그러나 기존의 KD 방법들은 주로 화이트박스 분류 모델에 적용되거나, ChatGPT과 같은 블랙박스 모델의 API를 모방하도록 소규모 모델을 훈련시키는 데 사용되어 왔다. 화이트박스 LLM의 지식을 소규모 모델에 효과적으로 증류하는 방법은 여전히 탐색이 부족한 영역이며, 오픈소스 LLM의 급속한 발전과 함께 이 문제의 중요성은 더욱 커지고 있다. 본 연구에서는 LLM을 소규모 언어 모델로 증류하는 새로운 KD 접근법을 제안한다. 먼저, 기존의 표준 KD 방법에서 사용하는 전방 Kullback-Leibler 발산(KLD) 목적함수를 역방향 KLD로 대체함으로써, 생성형 언어 모델에 적합한 증류를 가능하게 하였다. 이는 학습자 모델이 교사 모델의 낮은 확률 영역을 과도하게 추정하는 문제를 방지한다. 또한, 해당 목적함수를 효과적으로 최적화할 수 있는 새로운 학습 방법을 제안하였다. 제안된 학습자 모델은 MiniLLM이라고 명명하였다. 지시어 따르기(instruction-following) 설정에서 실시한 광범위한 실험 결과, MiniLLM은 기준 모델들에 비해 더 정확한 응답을 생성하며, 전반적인 품질이 높고, 노출 편향(exposure bias)이 낮으며, 보정(calibration) 성능이 우수하며, 장문 텍스트 생성 성능도 향상됨을 확인하였다. 본 방법은 120M에서 13B 파라미터 규모의 다양한 모델 패밀리에 대해 확장 가능하다. 코드, 데이터 및 모델 체크포인트는 https://github.com/microsoft/LMOps/tree/main/minillm 에서 확인할 수 있다.