WikiText Long Term Dependency Language Modeling Dataset 长期依赖语言建模数据集

数据集下载 磁力链 下载帮助

OpenBayes 注册即获得免费算力

WikiText 长期依赖语言建模数据集包含 1 亿个英文词汇,其来自于 Wikipedia 优质文章和标杆文章。

该数据集分为 WikiText-2 和 WikiText-103 两个版本,其相较于 PTB 词库规模更为庞大,并且每个词汇还保留相关的原始文章,这适用于需要长时依赖自然语言建模的场景。

该数据集由 Salesforce Research 于 2016 年发布,主要发布人为 Stephen Merity、Caiming Xiong、James Bradbury 和 Richard Socher,相关论文有《Pointer Sentinel Mixture Models》。

文件名大小
README.md1.46 KB
README.txt1.46 KB
wikitext-103-raw-v1.zip183.09 MB
wikitext-103-v1.zip181.42 MB
wikitext-2-raw-v1.zip4.5 MB
wikitext-2-v1.zip4.27 MB
新建文本文档.txt89 B