11 天前

金字塔:一种用于嵌套命名实体识别的分层模型

{Jue Wang, Lidan Shou, Ke Chen, Gang Chen}
金字塔:一种用于嵌套命名实体识别的分层模型
摘要

本文提出了一种名为Pyramid的新型分层模型,用于嵌套命名实体识别(Nested NER)。在该方法中,词元或文本区域的嵌入表示从底层到顶层,以金字塔结构逐层递归输入L个扁平的NER层。每当嵌入经过金字塔的一层时,其序列长度减少1。在第l层的隐藏状态表示输入文本中的一个l-gram,仅当其对应的文本区域构成一个完整的实体提及(entity mention)时,才会被赋予标签。此外,我们还设计了一个反向金字塔结构,以实现层间的双向交互。所提出的模型在ACE-2004、ACE-2005、GENIA和NNE数据集上的嵌套命名实体识别任务中均取得了当前最优的F1分数:使用传统嵌入时分别为80.27、79.42、77.78和93.70;使用预训练的上下文感知嵌入时则分别提升至87.74、86.34、79.31和94.68。此外,该模型还可推广至更一般的重叠命名实体识别(Overlapping Named Entity Recognition)任务。初步实验结果验证了该方法在重叠命名实体识别任务中的有效性。

金字塔:一种用于嵌套命名实体识别的分层模型 | 最新论文 | HyperAI超神经