多样性驱动的注意力模型用于基于查询的抽象摘要生成

摘要是生成文档较短版本的过程，旨在以紧凑且连贯的方式涵盖所有关键点。另一方面，基于查询的摘要则强调与给定查询相关的那些要点。编码-注意-解码（encode-attend-decode）范式在机器翻译、抽取式摘要、对话系统等领域取得了显著的成功。然而，该范式存在生成重复短语的问题。在本研究中，我们提出了一种基于编码-注意-解码范式的模型，用于基于查询的摘要任务，并引入了两个关键改进：(i) 查询注意力模型（除了文档注意力模型之外），该模型能够在不同的时间步骤上学习关注查询的不同部分（而不是使用静态的查询表示）；(ii) 基于多样性的新注意力模型，旨在缓解摘要中重复短语的问题。为了测试该模型，我们基于Debatepedia构建了一个新的基于查询的摘要数据集。实验结果表明，通过这两个改进，所提出的模型明显优于普通的编码-注意-解码模型，在ROUGE-L分数上绝对提高了28%。