희소 잠재 유형화를 이용한 언어 모델 사전 훈련

현대의 대규모 사전 학습 언어 모델(PLMs)은 다양한 후행 작업에서 놀라운 성과를 거두었다. 그러나 대부분의 언어 모델 사전 학습 목적함수는 텍스트 재구성에만 집중하고, 문장의 은닉 수준에서 해석 가능한 표현을 학습하려는 시도는 거의 이루어지지 않았다. 본 논문에서는 새로운 사전 학습 목적함수인 '희소 은닉 타입화(Sparse Latent Typing)'를 제안함으로써 언어 모델이 문장에 대한 더 깊은 이해를 갖도록 유도한다. 이 목적함수는 문장 수준의 키워드를 다양한 은닉 타입으로 희소하게 추출할 수 있도록 한다. 실험 결과, 본 모델은 외부 지식을 사용하지 않고도 자율 지도(self-supervised) 방식으로 해석 가능한 은닉 타입 카테고리를 학습할 수 있음을 확인하였다. 또한, 이러한 목적함수로 사전 학습된 언어 모델은 지도 학습 및 소량 샘플(프리샷) 설정 모두에서 정보 추출 관련 후행 작업에서 상당한 성능 향상을 보였다. 본 연구의 코드는 공개되어 있으며, 다음 링크에서 확인할 수 있다: https://github.com/renll/SparseLT.