1 个月前

基于自注意力机制的深度语义角色标注

Zhixing Tan; Mingxuan Wang; Jun Xie; Yidong Chen; Xiaodong Shi
基于自注意力机制的深度语义角色标注
摘要

语义角色标注(SRL)被认为是实现自然语言理解的关键步骤之一,近年来受到了广泛研究。近年来,基于循环神经网络(RNN)的端到端SRL方法引起了越来越多的关注。然而,RNN在处理结构信息和长距离依赖方面仍面临重大挑战。本文提出了一种简单且有效的SRL架构,旨在解决这些问题。我们的模型基于自注意力机制(self-attention),该机制可以不受两个标记之间距离的影响直接捕捉它们之间的关系。单个模型在CoNLL-2005共享任务数据集上达到了F$_1=83.4$的分数,在CoNLL-2012共享任务数据集上达到了F$_1=82.7$的分数,分别比之前最先进的结果提高了1.8和1.0的F$_1$分数。此外,我们的模型计算效率高,在单个Titan X GPU上的解析速度为每秒50,000个标记。

基于自注意力机制的深度语义角色标注 | 最新论文 | HyperAI超神经