2 个月前

面向查询的抽象概括:将查询相关性、多文档覆盖度和摘要长度约束融入seq2seq模型

Tal Baumel; Matan Eyal; Michael Elhadad
面向查询的抽象概括:将查询相关性、多文档覆盖度和摘要长度约束融入seq2seq模型
摘要

查询聚焦摘要(Query Focused Summarization, QFS)主要通过抽取式方法来实现。然而,这些方法生成的文本连贯性较低。本文研究了如何将生成式方法应用于QFS,以克服这一限制。近年来,基于神经注意力机制的序列到序列模型在生成式通用单文档摘要任务中取得了最先进的成果。这类模型通过端到端的方式在大量训练数据上进行训练。为了使生成式摘要适用于QFS,我们从三个方面进行了探讨:(a) 由于缺乏训练数据,我们将查询相关性融入预训练的生成式模型;(b) 现有的生成式模型是在单文档设置下训练的,而QFS需要处理多文档,因此我们设计了一种迭代方法,将生成式模型嵌入多文档需求中;(c) 我们所使用的生成式模型被训练用于生成特定长度的文本(约100词),而我们的目标是生成不同长度的输出(约250词),为此我们设计了一种方法来调整生成摘要的目标大小至给定的比例。我们将提出的方法(针对QFS的相关性敏感注意力机制)与抽取式基线方法以及多种组合生成式模型的方法进行了比较,并在DUC QFS数据集上展示了显著的ROUGE性能提升。