基于转换的依存句法分析与栈式Transformer

在基于转换的句法分析中，对分析器状态的建模是实现优异性能的关键。循环神经网络通过建模全局状态（如栈-LSTM解析器）或上下文特征的局部状态（如双向LSTM解析器），显著提升了基于转换系统的性能。鉴于Transformer架构在近期解析系统中的成功应用，本文探索了对序列到序列Transformer架构的改进，以在基于转换的解析中建模全局或局部的解析器状态。实验表明，对Transformer的交叉注意力机制进行适当修改，能够显著提升在依存句法分析和抽象语义表示（AMR）解析任务上的性能，尤其在模型规模较小或训练数据有限的情况下效果更为显著。