11 天前

学会忽略:基于有限记忆神经网络的长文档共指消解

Shubham Toshniwal, Sam Wiseman, Allyson Ettinger, Karen Livescu, Kevin Gimpel
学会忽略:基于有限记忆神经网络的长文档共指消解
摘要

长文档共指消解任务由于当前模型对内存和运行时间的高要求,仍是一项具有挑战性的任务。近期有研究通过仅利用实体的全局表示进行增量式共指消解,展现出实际应用优势,但该方法需要将所有实体保留在内存中,这对长文档而言可能不切实际。我们认为,将所有实体长期驻留内存是不必要的。为此,我们提出一种内存增强型神经网络,该模型仅在任意时刻跟踪有限数量的实体,从而保证了模型运行时间与文档长度呈线性关系。实验结果表明:(a)该模型在OntoNotes和LitBank数据集上,性能与高内存和高计算开销的模型相当;(b)模型能够自动学习高效的内存管理策略,其表现显著优于基于规则的管理方法。

学会忽略:基于有限记忆神经网络的长文档共指消解 | 最新论文 | HyperAI超神经