基于Transformer语言模型的抽取式与生成式神经文档摘要方法

我们提出了一种用于生成超长文档（超过数千字）抽象摘要的神经抽象摘要方法。在生成摘要之前，我们引入了一个简单的抽取式预处理步骤，该步骤提取出文档中的关键信息，并将其作为条件输入，用于引导Transformer语言模型聚焦于相关上下文，从而生成摘要。实验表明，这一抽取式预处理步骤显著提升了摘要生成的效果。此外，相较于以往采用复制机制（copy mechanism）的方法，本方法在保持更高ROUGE得分的同时，能够生成更具抽象性的摘要。注：上述摘要并非由作者撰写，而是本论文所提出模型自动生成的结果。