12 天前

用于长句压缩的高阶句法注意力网络

{Tsutomu Hirao, Katsuhiko Hayashi, Masaaki Nagata, Hidetaka Kamigaito}
用于长句压缩的高阶句法注意力网络
摘要

基于LSTM的句子压缩方法能够生成流畅的压缩句,但在处理较长句子时性能显著下降,原因在于该方法未显式建模句法特征。为解决这一问题,本文提出一种高阶句法注意力网络(HiSAN),该网络将高阶依存关系特征以注意力分布的形式作用于LSTM隐藏状态,从而有效捕捉复杂的句法结构。此外,为降低错误句法解析结果带来的负面影响,我们采用联合最大化正确输出概率与注意力分布的策略对HiSAN进行训练。在Google句子压缩数据集上的实验结果表明,所提方法在F1、ROUGE-1、ROUGE-2和L分数上均取得最佳性能,分别达到83.2、82.9、75.8和82.7。在人工评估中,该方法在可读性和信息量两个维度上也优于基线方法。

用于长句压缩的高阶句法注意力网络 | 最新论文 | HyperAI超神经