13 天前

基于动作指针Transformer的AMR解析

Jiawei Zhou, Tahira Naseem, Ramón Fernandez Astudillo, Radu Florian
基于动作指针Transformer的AMR解析
摘要

抽象意义表示(Abstract Meaning Representation, AMR)解析是一项将句子映射为图结构的预测任务,其中目标图节点并未显式地与句子中的词元对齐。然而,由于图节点在语义上通常基于一个或多个句子词元,因此可以推导出隐式的对齐关系。基于转移的解析器从左到右依次处理句子,通过引入对齐机制来捕捉这一归纳偏置,但其表达能力受到一定限制。本文提出一种基于转移的解析系统,该系统结合了对句子的硬注意力机制与目标端的动作指针机制,从而将源端词元与节点表示解耦,并有效处理对齐问题。我们通过在单一Transformer架构中进行简单而直接的修改,同时建模转移过程与指针机制。解析器状态及图结构信息通过注意力头高效编码。实验结果表明,所提出的动作指针方法显著提升了模型的表达能力,在与当前最优基于转移的AMR解析器处于极为相似的实验条件下,取得了+1.6点的显著性能提升。在不使用图结构重分类(graph re-categorization)的情况下,我们的单一模型在AMR 2.0数据集上取得了第二好的Smatch得分(81.8),结合银标准数据(silver data)与集成解码后,得分进一步提升至83.4。