2 个月前

基于软层特定的多任务摘要生成与蕴含及问题生成

Han Guo; Ramakanth Pasunuru; Mohit Bansal
基于软层特定的多任务摘要生成与蕴含及问题生成
摘要

文档的抽象性摘要应包含其所有关键信息,并且应在逻辑上由输入文档推导得出。我们通过多任务学习,结合辅助任务——问题生成和蕴含生成——来改进抽象性摘要的重要方面。其中,问题生成任务教导摘要模型如何寻找值得提问的关键细节,而蕴含生成任务则教导模型如何重写一个作为输入文档有向逻辑子集的摘要。此外,我们提出了新颖的多任务架构,这些架构在三个任务的多个编码器和解码器层之间实现了高层次(语义)层特定共享,并引入了软共享机制(同时展示了每项贡献的性能消融分析和案例研究)。总体而言,我们在CNN/DailyMail和Gigaword数据集以及DUC-2002迁移设置上均取得了统计学意义上的显著改进。我们还对模型所学到的关键性和蕴含技能进行了多项定量和定性分析研究。

基于软层特定的多任务摘要生成与蕴含及问题生成 | 最新论文 | HyperAI超神经