该数据集是一个由 GPT-3.5 和 GPT-4 生成的短篇故事合成数据集,包含的词汇量限定在 3 至 4 岁儿童理解的范围内。它专为训练和评估小型语言模型 (LMs) 而设计,尽管模型规模较小(参数量低于 500 万),或拥有更简单的架构(只有一个 transformer 块),但使用这个数据集训练的模型仍能够产生流畅、一致、多样化且语法近乎完美的短故事。
TinyStories 数据集由 Microsoft Research 于 2023 年提出,相关论文为「TinyStories: How Small Can Language Models Be and Still Speak Coherent English?」
做种 2
下载中 0
已完成 43
总下载 178