摘要
命名实体识别（Named Entity Recognition, NER）通常被视作一种序列分类任务，其中每个输入仅包含一个句子的文本。然而，显然在单句上下文之外往往也蕴含着对任务有益的信息。近年来提出的自注意力模型（如BERT）不仅能够高效捕捉输入中的长距离依赖关系，还能有效处理由多个句子组成的输入，为在自然语言处理任务中引入跨句信息提供了新的机遇。本文系统地研究了在五种语言中利用BERT模型融合跨句信息进行NER的可行性。研究发现，将额外的句子作为上下文添加至BERT输入，能够系统性地提升所有测试语言和模型上的NER性能。此外，通过在每个输入中包含多个句子，我们还能够分析同一句子在不同上下文中的预测表现。为此，我们提出一种简单有效的融合方法——上下文多数投票（Contextual Majority Voting, CMV），用于整合不同上下文下的预测结果，并进一步提升BERT在NER任务中的性能。该方法无需修改BERT的底层架构，仅通过重构训练与预测阶段的样本形式即可实现。在多个标准数据集上的评估结果表明，包括CoNLL'02和CoNLL'03 NER基准在内的实验验证了本方法在英语、荷兰语和芬兰语上超越了当前最优的NER结果；在德语上取得了迄今报告的最佳BERT基线性能；在西班牙语上则与其它BERT基线方法的性能相当。本文所实现的所有方法均已开源，遵循开放许可证发布。