TinyStories 短篇故事合成数据集

日期

7 个月前

大小

4.21 GB

机构

Microsoft Research

发布地址

huggingface.co

* 该数据集支持在线使用,点击此处跳转

该数据集是一个由 GPT-3.5 和 GPT-4 生成的短篇故事合成数据集,包含的词汇量限定在 3 至 4 岁儿童理解的范围内。它专为训练和评估小型语言模型 (LMs) 而设计,尽管模型规模较小(参数量低于 500 万),或拥有更简单的架构(只有一个 transformer 块),但使用这个数据集训练的模型仍能够产生流畅、一致、多样化且语法近乎完美的短故事。

TinyStories 数据集由 Microsoft Research 于 2023 年提出,相关论文为「TinyStories: How Small Can Language Models Be and Still Speak Coherent English?

TinyStories.torrent

做种 2

下载中 0

已完成 43

总下载 178

  • TinyStories/
    • README.md
      1.36 KB
    • README.txt
      2.72 KB
      • data/
        • TinyStories.zip
          4.21 GB