16 天前

无需跨度表示的共指消解

Yuval Kirstain, Ori Ram, Omer Levy
无需跨度表示的共指消解
摘要

预训练语言模型的引入已将许多复杂的特定任务自然语言处理(NLP)模型简化为轻量级的附加层。然而,共指消解(coreference resolution)是一个例外,其通常在预训练Transformer编码器的基础上附加一个复杂的任务专用模型。尽管该方法效果显著,但其内存占用极大——主要源于动态构建的片段(span)及片段对(span-pair)表示——这严重限制了对完整文档的处理能力,也阻碍了在单个批次中同时训练多个实例。为此,我们提出一种轻量级端到端共指消解模型,该模型摒弃了对片段表示、手工特征及启发式规则的依赖。在保持与当前主流模型相当性能的同时,新模型结构更简洁、效率更高。

无需跨度表示的共指消解 | 最新论文 | HyperAI超神经