2 个月前

基于深度双仿射注意力的神经依存句法分析

Timothy Dozat; Christopher D. Manning
基于深度双仿射注意力的神经依存句法分析
摘要

本文基于Kiperwasser和Goldberg(2016)近期在简单图基依存句法分析器中使用神经注意力机制的工作。我们使用了一个更大但更彻底正则化的解析器,与其他最近的双向长短期记忆网络(BiLSTM)方法相比,采用了双仿射分类器来预测弧和标签。我们的解析器在六种不同语言的标准树库上取得了最先进或接近最先进水平的性能,在最受欢迎的英语PTB数据集上达到了95.7%的未标记依存关系准确率(UAS)和94.1%的带标签依存关系准确率(LAS)。这使得它成为该基准测试中表现最佳的图基解析器——比Kiperwasser和Goldberg(2016)的方法分别提高了1.8%和2.2%——并且与表现最佳的转换基解析器(Kuncoro等人,2016)相当,后者在相同数据集上实现了95.8%的UAS和94.6%的LAS。此外,我们还展示了哪些超参数选择对解析准确性产生了显著影响,从而使我们在其他图基方法上获得了较大提升。

基于深度双仿射注意力的神经依存句法分析 | 最新论文 | HyperAI超神经