GOLD: Out-of-Distribution-Guided를 통한 일반화된 지식 전달 언어 데이터 생성

LLM(대형 언어 모델)에서의 지식 증류는 언어 모델의 효율적인 배포를 위해 필수적입니다. 이전 연구에서는 증류된 모델을 준비하기 위해 LLM을 사용한 데이터 생성 방법을 제안했습니다. 우리는 LLM을 사용하여 데이터를 생성하는 것이 주로 원본 콘텐츠 분포의 중심에서 샘플링되기 쉽다는 점을 주장합니다. 이러한 한계는 증류된 모델이 실제 하위 데이터 분포를 학습하고 분포의 꼬리 부분(확률이 낮은 샘플)을 잊는 것을 방해합니다. 이를 해결하기 위해, 우리는 과제에 상관없이 작동하는 GOLD라는 데이터 생성 및 지식 증류 프레임워크를 제안합니다. GOLD는 LLM에 대한 반복적인 OOD(Out-of-Distribution) 안내 피드백 메커니즘을 활용합니다. 결과적으로, 생성된 데이터는 증류된 모델의 일반화 능력을 향상시킵니다. 또한, 노이즈가 있는 생성 데이터를 처리하기 위한 에너지 기반 OOD 평가 방법도 소개됩니다. 우리의 광범위한 실험은 NLP(자연어 처리)의 10개 다른 분류 및 시퀀스-투-시퀀스 작업에서 GOLD가 각각 이전 연구와 LLM보다 평균 5%와 14% 개선됨을 보여줍니다. 또한, 제안된 방법이 덜 탐구되고 새로운 과제에도 적용될 수 있음을 입증할 것입니다. 코드는 제공됩니다.