名詞エンティティを含むテキストのための言語モデルの構築

多くの分野のテキストには多数の固有名詞が含まれています。これらの固有名詞は訓練コーパスに頻繁に出現しないため、言語モデルが固有名詞を予測することはしばしば困難です。本論文では、エンティティタイプ情報を活用して固有名詞を学習できる差別的言語モデルの構築に関する新しいかつ効果的な手法を提案します。また、レシピとJavaプログラミングコードに基づく2つのベンチマークデータセットを紹介し、提案されたモデルを評価しています。実験結果は、当該モデルが最先端の言語モデルよりもレシピ生成において52.2%、コード生成において22.06%のパープレキシティ改善を達成していることを示しています。