Nous poursuivons notre enquête sur les capacités des modèles de langage basés sur les Transformers de taille réduite, telle qu'initiée par \textbf{TinyStories} -- un modèle de 10 millions de paramètres capable de produire un anglais cohérent -- et le travail ultérieur sur \textbf{phi-1}, un modèle de 1,3 milliard de paramètres dont les performances en codage Python sont proches de l'état de l'art. Ce dernier travail a proposé d'utiliser des modèles de langage existants et larges (LLMs) pour générer des données de « qualité manuel scolaire » afin d'améliorer le processus d'apprentissage par rapport aux données web traditionnelles. Nous adoptons l'approche « Les Manuels Scolaires Suffisent », en nous concentrant cette fois-ci sur la raisonnement du sens commun dans le langage naturel, et créons un nouveau modèle à 1,3 milliard de paramètres nommé \textbf{phi-1.5}, dont les performances sur les tâches en langage naturel sont comparables à celles des modèles cinq fois plus grands, et qui dépasse la plupart des LLMs non frontières sur des tâches de raisonnement plus complexes telles que les mathématiques élémentaires et le codage basique. Plus généralement, \textbf{phi-1.5} présente nombre des caractéristiques des LLMs beaucoup plus volumineux, tant positives -- comme la capacité à « penser étape par étape » ou à effectuer certains apprentissages contextuels élémentaires -- que négatives, y compris les hallucinations et le potentiel pour générer du contenu toxique ou biaisé -- bien que nous constations une amélioration dans ce domaine grâce à l'absence de données web. Nous mettons \textbf{phi-1.5} en open source pour promouvoir davantage la recherche sur ces sujets urgents.