2 个月前

TLDR9+:社交媒体帖子极端摘要的大规模资源

Sajad Sotudeh; Hanieh Deilamsalehy; Franck Dernoncourt; Nazli Goharian
TLDR9+:社交媒体帖子极端摘要的大规模资源
摘要

近年来,开发摘要系统的模型包含数百万个参数,模型性能在很大程度上取决于训练数据的丰富程度。尽管现有的大多数摘要语料库包含的数据量从几千到一百万不等,但生成数百万规模的大型摘要数据集尚未得到充分探索。实际上,更多的数据有助于将训练模式泛化到未见过的数据上。本文中,我们介绍了TLDR9+——一个大规模的摘要数据集——该数据集包含从Reddit讨论论坛(https://github.com/sajastu/reddit_collector)提取的超过900万个训练实例。该数据集专门用于进行极端摘要(即,在高压缩和抽象的情况下生成一句话摘要),其规模比之前提出的同类数据集大两倍以上。我们进一步通过人工注释,从TLDR9+中筛选出高质量实例,提炼出一个更为精细的数据集,并将其命名为TLDRHQ数据集。我们还在提出的这些数据集上评估了不同的最先进摘要模型。

TLDR9+:社交媒体帖子极端摘要的大规模资源 | 最新论文 | HyperAI超神经