基于语言学的自注意力机制在语义角色标注中的应用

当前最先进的语义角色标注（SRL）方法使用的是没有显式语言学特征的深度神经网络。然而，先前的研究表明，黄金句法树可以显著提高SRL解码的效果，这暗示了通过显式建模句法来提升准确性的可能性。在本研究中，我们提出了语言学指导的自注意力机制（Linguistically-Informed Self-Attention, LISA）：一种结合多头自注意力机制与依赖分析、词性标注、谓词检测和SRL多任务学习的神经网络模型。与以往需要大量预处理以准备语言学特征的模型不同，LISA仅需原始标记作为输入即可融入句法信息，对序列进行一次编码即可同时完成解析、谓词检测和所有谓词的角色标注。句法信息是通过训练一个自注意力头关注每个标记的句法父节点来实现的。此外，如果已经存在高质量的句法解析结果，则可以在测试时有益地注入这些结果而无需重新训练我们的SRL模型。在CoNLL-2005 SRL数据集上的实验表明，LISA在使用预测谓词和标准词嵌入的情况下达到了新的最先进性能，在新闻数据上比之前的最先进方法提高了2.5个F1绝对值，在域外数据上则提高了超过3.5个F1值，错误率减少了近10%。在ConLL-2012 英语SRL数据集上，我们也展示了超过2.5个F1值的改进。即使使用上下文编码（ELMo）的词表示，LISA也在新闻文本上超过了最先进方法近1.0个F1值，在域外文本上超过了超过2.0个F1值。