17 天前

MINER:从信息论视角提升未登录命名实体识别

Xiao Wang, Shihan Dou, Limao Xiong, Yicheng Zou, Qi Zhang, Tao Gui, Liang Qiao, Zhanzhan Cheng, Xuanjing Huang
MINER:从信息论视角提升未登录命名实体识别
摘要

命名实体识别(NER)模型在标准NER基准测试中已取得令人瞩目的性能表现。然而,近期研究表明,以往的方法可能过度依赖实体提及(entity mention)信息,导致在未登录词(out-of-vocabulary, OOV)实体识别任务上表现不佳。针对这一问题,本文提出一种名为MINER的新型NER学习框架,从信息论的角度出发,旨在改善该缺陷。所提出的框架包含两个基于互信息的训练目标:其一为泛化信息最大化(generalizing information maximization),通过深入理解上下文语境和实体表面形式,提升模型表征能力;其二为冗余信息最小化(superfluous information minimization),有效抑制模型对实体名称的机械记忆或对数据中偏差线索的过度利用。在多种设置和数据集上的实验结果表明,该方法在预测OOV实体方面显著优于现有方法,展现出更优的泛化性能。