2 个月前

自底向上抽象概括

Sebastian Gehrmann; Yuntian Deng; Alexander M. Rush
自底向上抽象概括
摘要

基于神经网络的方法在生成抽象摘要时,其输出比其他技术更为流畅,但在内容选择方面可能表现不佳。本文提出了一种解决该问题的简单方法:使用数据高效的内容选择器来确定源文档中应包含在摘要中的短语。我们将此选择器作为自底向上的注意力步骤,以限制模型关注可能的短语。实验结果表明,这种方法不仅提高了文本压缩的能力,同时还能生成流畅的摘要。这一两步过程相较于其他端到端的内容选择模型更为简单且性能更高,从而在CNN-DM和NYT语料库上显著提升了ROUGE得分。此外,内容选择器只需用1,000个句子进行训练即可,这使得将已训练的摘要生成器迁移到新领域变得非常容易。

自底向上抽象概括 | 最新论文 | HyperAI超神经