使用不一致性损失的抽取式和抽象式摘要统一模型

我们提出了一种结合抽取式和生成式摘要优点的统一模型。一方面，简单的抽取式模型可以获取高ROUGE分数的句子级注意力，但可读性较差；另一方面，复杂的生成式模型可以通过词级动态注意力生成更具可读性的段落。在我们的模型中，句子级注意力用于调节词级注意力，使得关注度较低的句子中的词语不太可能被生成。此外，我们引入了一种新颖的不一致性损失函数（inconsistency loss function），以惩罚两个层次注意力之间的不一致。通过端到端地训练我们的模型，结合不一致性损失以及抽取式和生成式模型原有的损失函数，我们在CNN/Daily Mail数据集上实现了最先进的ROUGE分数，并在严格的人类评估中证明了该模型是最具信息性和可读性的摘要方法。