2 个月前

端到端神经共指解析

Kenton Lee; Luheng He; Mike Lewis; Luke Zettlemoyer
端到端神经共指解析
摘要

我们介绍了一种端到端的核心ference解析模型,并展示了该模型在不使用句法分析器或手动设计的mention检测器的情况下,显著优于所有先前的工作。该模型的关键思想是直接将文档中的所有片段视为潜在的mention,并学习每个片段可能的先行词分布。模型计算了结合上下文依赖边界表示和head-finding注意力机制的片段嵌入。它通过最大化来自核心ference簇的黄金先行词片段的边缘似然性进行训练,并进行了因子分解以实现对潜在mention的大规模剪枝。实验结果表明,该模型在OntoNotes基准测试中达到了最先进的性能,F1分数提高了1.5分,而使用5个模型集成时则提高了3.1分,尽管这是首次成功在没有外部资源的情况下进行训练的方法。注释:- “核心ference”通常翻译为“共指”,但为了保持术语的一致性和完整性,这里保留了“核心ference”的形式。- “mention”在本文中指的是“提及”,特指文本中的实体或短语。- “先行词”是指一个提及所指代的前文中的词语或短语。- “边缘似然性”(marginal likelihood)是指在统计学中的一种概率度量方法。- “因子分解”(factored)在这里指的是将复杂的计算问题分解为更简单的子问题,以便于处理和优化。- “大规模剪枝”(aggressive pruning)是指在计算过程中去除大量不必要的候选选项,以提高效率。

端到端神经共指解析 | 最新论文 | HyperAI超神经