Dieser Datensatz ist ein synthetischer Datensatz von Kurzgeschichten, der mit GPT-3.5 und GPT-4 generiert wurde, und der enthaltene Wortschatz ist auf das Verständnisspektrum von 3- bis 4-jährigen Kindern beschränkt. Es ist für das Trainieren und Auswerten kleiner Sprachmodelle (LMs) konzipiert. Trotz ihrer geringen Größe (weniger als 5 Millionen Parameter) oder ihrer einfacheren Architektur (nur ein Transformatorblock) sind die mit diesem Datensatz trainierten Modelle in der Lage, flüssige, konsistente, vielfältige und grammatikalisch nahezu perfekte Kurzgeschichten zu produzieren.

Der TinyStories-Datensatz wurde 2023 von Microsoft Research vorgeschlagen, und das entsprechende Papier lautet: „TinyStories: Wie klein können Sprachmodelle sein und trotzdem noch verständliches Englisch sprechen?"