利用任务感知神经语言模型增强序列标注

语言序列标注是一种通用的建模方法，涵盖了诸如词性标注和命名实体识别等多种问题。近年来，神经网络（NNs）的发展使得无需手工特征即可构建可靠的模型成为可能。然而，在许多情况下，获取足够的注释来训练这些模型仍然十分困难。在本研究中，我们开发了一种新颖的神经框架，用于从原始文本中提取丰富的隐含知识，以增强序列标注任务的效果。除了预训练词嵌入中包含的词汇级知识外，还引入了字符感知神经语言模型来提取字符级知识。此外，采用了迁移学习技术来协调不同组件，并引导语言模型关注关键知识。与以往的方法相比，这些特定任务的知识使我们能够采用更加简洁的模型并进行更高效的训练。不同于大多数迁移学习方法，所提出的框架并不依赖任何额外的监督信息。它从训练序列自身的顺序信息中提取知识。广泛的基准数据集实验表明，利用字符级知识的有效性和协同训练的高效性。例如，在CoNLL03命名实体识别任务上，该模型在单个GPU上大约6小时内完成训练，达到了91.71±0.10的F1分数，而无需使用任何额外注释。