명명된 실체를 포함한 텍스트를 위한 언어 모델 구축

다양한 분야의 텍스트는 상당량의 고유명사를 포함하고 있습니다. 이러한 고유명사를 예측하는 것은 훈련 코퍼스에서 덜 자주 나타나기 때문에 언어 모델에 대해 종종 어려운 문제입니다. 본 논문에서는 고유명사 유형 정보를 활용하여 고유명사를 학습할 수 있는 차별화된 언어 모델을 구축하는 새로운이고 효과적인 접근 방식을 제안합니다. 또한, 레시피와 Java 프로그래밍 코드를 기반으로 하는 두 개의 벤치마크 데이터셋을 소개하며, 이 데이터셋을 통해 제안된 모델을 평가하였습니다. 실험 결과, 본 모델은 최신 언어 모델보다 레시피 생성에서 52.2%, 코드 생성에서 22.06% 더 낮은 퍼플렉서티(perplexity)를 달성하였습니다.