摘要
信息抽取是自然语言处理（NLP）中的一个重要任务，能够实现关系数据库填充的自动化数据提取。历史上，研究和数据主要针对英语文本，随后在随后几年中产生了阿拉伯语、汉语（ACE/OntoNotes）、荷兰语、西班牙语、德语（CoNLL评估）等多种语言的数据集。自然而然地，人们倾向于将每种语言视为不同的数据集，并为每种语言构建优化的模型。本文探讨了一种基于多语言BERT的命名实体识别模型，该模型同时在多种语言上进行联合训练，并且能够以比仅在一个语言上训练的模型更高的准确性解码这些语言。为了改进初始模型，我们研究了正则化策略的使用，例如多任务学习和部分梯度更新。除了作为一个可以处理多种语言（包括代码切换）的单一模型外，该模型还可以直接用于对新语言进行零样本预测，即使没有可用的训练数据也是如此。实验结果表明，该模型不仅在性能上与单语种模型具有竞争力，还在CoNLL02荷兰语和西班牙语数据集以及OntoNotes阿拉伯语和汉语数据集上取得了最先进的结果。此外，它在未见过的语言上也表现良好，在三种CoNLL语言上的零样本预测中达到了最先进的水平。