Ensemble De Données De Synthèse De Nouvelles TinyStories

* Cet ensemble de données prend en charge l'utilisation en ligne.Cliquez ici pour sauter.

Cet ensemble de données est un ensemble de données synthétiques de nouvelles générées par GPT-3.5 et GPT-4, et le vocabulaire contenu est limité à la gamme de compréhension des enfants de 3 à 4 ans. Il est conçu pour former et évaluer de petits modèles de langage (LM), et malgré leur petite taille (moins de 5 millions de paramètres) ou leur architecture plus simple (un seul bloc de transformateur), les modèles formés sur cet ensemble de données sont capables de produire des histoires courtes fluides, cohérentes, diversifiées et presque grammaticalement parfaites.

L'ensemble de données TinyStories a été proposé par Microsoft Research en 2023, et l'article pertinent est «TinyStories : À quel point les modèles linguistiques peuvent-ils être petits tout en parlant un anglais cohérent ?"