학생이 선생이 되다: 앙상블 학습을 기반으로 한 교사-학생 모델 기반 단어 임베딩 디스틸레이션

최근 딥 러닝의 발전은 신경망 모델을 실제 응용 분야에 적용하는 수요를 촉진시켰습니다. 실제로 이러한 응용 프로그램은 자원이 제한된 환경에서 높은 정확도를 유지하면서 배포되어야 하는 경우가 많습니다. 본 논문에서는 자연어 처리(NLP)에서 신경망 모델의 핵심인 단어 임베딩(word embeddings)에 대해 다루며, 정확도를 저하시키지 않으면서 단어 임베딩의 차원을 크게 줄이는 새로운 임베딩 증류(framework) 프레임워크를 제안합니다. 또한, 여러 선생님 모델(teacher models)을 사용하여 효율적인 학생 모델(student model)을 훈련시키는 혁신적인 증류 앙상블(distillation ensemble) 접근 방식도 제안됩니다. 우리의 접근 방식에서는 선생님 모델들이 훈련 과정에서만 역할을 하므로, 해독(decoding) 시에는 학생 모델이 선생님 모델들의 지원 없이 독립적으로 작동합니다. 이로 인해 학생 모델은 다른 일반적인 앙상블 방법들보다 80배 더 빠르고 가볍게 작동합니다. 모든 모델들은 7개의 문서 분류 데이터셋에서 평가되었으며, 대부분의 경우 선생님 모델들보다 유의미한 우위를 보였습니다. 우리의 분석은 증류 과정에서 단어 임베딩의 통찰력 있는 변환을 묘사하며, 신경망 모델을 활용한 앙상블 접근 방식의 미래 방향성을 제시합니다.