11 天前

基于神经成对条件随机场的超细粒度实体类型标注建模

Chengyue Jiang, Yong Jiang, Weiqi Wu, Pengjun Xie, Kewei Tu
基于神经成对条件随机场的超细粒度实体类型标注建模
摘要

超细粒度实体类型识别(Ultra-fine Entity Typing, UFET)旨在预测能够准确描述句子中给定实体提及所属类别的广泛类型短语。现有大多数方法独立推断每个实体类型,忽略了类型之间的相关性——例如,当一个实体被识别为“总统”时,其类型应同时包含“政治家”和“领导者”等关联类别。为此,本文提出采用一种无向图模型——成对条件随机场(Pairwise Conditional Random Field, PCRF),来建模UFET问题。在该模型中,类型变量不仅受到输入信息的单变量影响,还与其他所有类型变量之间存在成对关联关系。我们采用多种先进的神经网络主干模型(backbones)来计算单变量势能(unary potentials),并通过类型短语的表示学习来构建成对势能(pairwise potentials),这些势能既蕴含了先验语义信息,又支持高效的推理过程。为实现对大规模类型集合的高效类型推断,我们采用均值场变分推断(mean-field variational inference),并将该推断过程展开为一个神经网络模块,从而支持端到端的训练。在UFET任务上的实验表明,Neural-PCRF在几乎无额外计算成本的情况下,始终优于其基础主干模型,并在性能上达到基于交叉编码器(cross-encoder)的当前最优(SOTA)方法水平,同时推理速度提升数千倍。此外,我们在一个广泛使用的细粒度实体类型识别数据集上也验证了Neural-PCRF的有效性,该数据集的类型集合相对较小。我们将Neural-PCRF封装为一个可插拔的网络模块,可轻松集成至多标签类型分类器中,相关代码已开源至:https://github.com/modelscope/adaseq/tree/master/examples/NPCRF。

基于神经成对条件随机场的超细粒度实体类型标注建模 | 最新论文 | HyperAI超神经