언어모델링

언어 모델링은 문서에서 다음 단어나 문자를 예측하는 작업으로, 훈련된 언어 모델은 텍스트 생성, 텍스트 분류, 질문 응답 등 다양한 자연어 처리 작업에 적용될 수 있습니다. 2010년대 이후로는 신경망 기반 언어 모델이 N-gram 모델을 대체하였으며, 2020년대 이후로는 대형 언어 모델(Large Language Models, LLMs)이 최고 성능을 달성하기 위한 유일한 방법이 되었습니다. 이러한 모델의 성능은 크로스 엔트로피와 퍼플렉서티 등의 지표를 사용하여 평가되며, 일반적으로 사용되는 데이터셋에는 WikiText-103, One Billion Word, Text8, C4, The Pile 등이 있습니다.