HyperAIHyperAI

Command Palette

Search for a command to run...

GRETEL:用于长文档抽取式摘要的图对比主题增强语言模型

Qianqian Xie Jimin Huang Tulika Saha Sophia Ananiadou

摘要

近年来,神经主题模型(Neural Topic Models, NTMs)被引入预训练语言模型(Pre-trained Language Models, PLMs)中,以捕捉文本摘要任务中的全局语义信息。然而,现有方法在捕捉与整合全局语义信息方面仍存在局限。为此,本文提出一种新型模型——图对比主题增强语言模型(Graph Contrastive Topic Enhanced Language Model, GRETEL),该模型将图对比主题模型与预训练语言模型相结合,充分挖掘长文档抽取式摘要任务中的全局与局部上下文语义信息。为更有效地捕捉并融入全局语义信息,图对比主题模型融合了层次化Transformer编码器与图对比学习机制,实现对文档整体语境与标准摘要之间语义信息的深度融合。在此基础上,GRETEL能够引导模型高效提取与标准摘要在主题上高度相关的关键句子,而非涵盖次优主题的冗余内容。在通用领域与生物医学领域的多个数据集上的实验结果表明,所提出的方法在性能上优于当前最优(SOTA)方法。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供