构建包含命名实体的文本语言模型

许多领域的文本包含大量命名实体。对于语言模型而言，预测这些实体名称往往具有挑战性，因为它们在训练语料库中出现的频率较低。本文提出了一种新颖且有效的方法来构建判别式语言模型，该模型可以通过利用实体类型信息来学习实体名称。我们还基于食谱和Java编程代码引入了两个基准数据集，并在这些数据集上评估了所提出的模型。实验结果表明，我们的模型在食谱生成任务中的困惑度比最先进的语言模型低52.2%，在代码生成任务中的困惑度低22.06%。