TinyStories 短編小説合成データセット

※本データセットはオンライン利用に対応しておりますが、ここをクリックしてジャンプしてください。

このデータセットは、GPT-3.5 および GPT-4 によって生成された短編小説の合成データセットであり、3 ～ 4 歳の子供が理解できる範囲に限定された語彙が含まれています。これは小規模言語モデル (LM) のトレーニングと評価用に設計されており、このデータセットを使用してトレーニングされたモデルは、サイズが小さい (パラメーター数が 500 万未満) か、アーキテクチャが単純である (変換ブロックが 1 つだけ) にもかかわらず、有用です。スムーズで一貫性があり、多様性があり、文法的には完璧に近いストーリー。

TinyStories データセットは 2023 年に Microsoft Research によって提案され、関連する論文は「TinyStories: 言語モデルはどれくらい小さくても、一貫した英語を話すことができるのでしょうか?」