言語モデル

言語モデルは、文書の次の単語や文字を予測するタスクであり、訓練された言語モデルはテキスト生成、テキスト分類、質問応答など、さまざまな自然言語処理タスクに適用できます。2010年代以降、ニューラル言語モデルがN-gramモデルに取って代わり、2020年代以降は大規模言語モデル（LLMs）が最先端の性能を達成する唯一の道となっています。これらのモデルの能力は、クロスエントロピーやパープレキシティなどの指標で評価され、一般的なデータセットにはWikiText-103、One Billion Word、Text8、C4、The Pileなどが含まれます。