2 个月前
GRN:门控关系网络以增强卷积神经网络用于命名实体识别
Hui Chen; Zijia Lin; Guiguang Ding; Jianguang Lou; Yusen Zhang; Borje Karlsson

摘要
命名实体识别(NER)的主要方法大多采用复杂的递归神经网络(RNN),例如长短期记忆网络(LSTM)。然而,由于其递归性质,RNN在计算效率方面存在局限性。相比之下,卷积神经网络(CNN)可以通过其前馈架构充分利用GPU并行性。然而,使用CNN进行NER的研究较少,主要是因为CNN在捕捉序列中的长期上下文信息方面存在困难。本文提出了一种简单但有效的基于CNN的NER网络——门控关系网络(Gated Relation Network, GRN),该网络比普通CNN更能捕捉长期上下文信息。具体而言,在GRN中,我们首先使用CNN探索每个词的局部上下文特征。然后建模词之间的关系,并将其作为门来融合局部上下文特征以预测标签。无需使用按顺序处理句子的递归层,我们的GRN允许在整个句子范围内并行执行计算。在两个基准NER数据集(即CoNLL2003和Ontonotes 5.0)上的实验表明,所提出的GRN无论是否使用外部知识都能达到最先进的性能。此外,GRN在训练和测试时也具有更低的时间成本。我们已将代码公开发布在https://github.com/HuiChen24/NER-GRN。