HyperAIHyperAI

Command Palette

Search for a command to run...

使用不一致性损失的抽取式和抽象式摘要统一模型

Wan-Ting Hsu; Chieh-Kai Lin; Ming-Ying Lee; Kerui Min; Jing Tang; Min Sun

摘要

我们提出了一种结合抽取式和生成式摘要优点的统一模型。一方面,简单的抽取式模型可以获取高ROUGE分数的句子级注意力,但可读性较差;另一方面,复杂的生成式模型可以通过词级动态注意力生成更具可读性的段落。在我们的模型中,句子级注意力用于调节词级注意力,使得关注度较低的句子中的词语不太可能被生成。此外,我们引入了一种新颖的不一致性损失函数(inconsistency loss function),以惩罚两个层次注意力之间的不一致。通过端到端地训练我们的模型,结合不一致性损失以及抽取式和生成式模型原有的损失函数,我们在CNN/Daily Mail数据集上实现了最先进的ROUGE分数,并在严格的人类评估中证明了该模型是最具信息性和可读性的摘要方法。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供