نواصل البحث في قوة النماذج اللغوية القائمة على التحولات (Transformers) الأصغر حجمًا، كما بدأته \textbf{TinyStories} -- وهي نموذج يحتوي على 10 ملايين معلمة يمكنه إنتاج نصوص متماسكة باللغة الإنجليزية -- والعمل اللاحق على \textbf{phi-1}، وهو نموذج يحتوي على 1.3 مليار معلمة ويتميز بأداء قريب من الأفضل في مجال برمجة لغة Python. اقترح العمل الأخير استخدام النماذج اللغوية الكبيرة الحالية (LLMs) لإنشاء بيانات بـجودة الكتب المدرسية'' كطريقة لتعزيز عملية التعلم مقارنة بالبيانات التقليدية من الإنترنت. نتبع نهجالكتب المدرسية هي كل ما تحتاجه''، مع التركيز هذه المرة على الاستدلال العقلاني الشائع في اللغة الطبيعية، ونقوم بإنشاء نموذج جديد يحتوي على 1.3 مليار معلمة باسم \textbf{phi-1.5}، والذي يتميز بأداء في المهام اللغوية الطبيعية مشابه لأداء النماذج التي تبلغ حجمها خمسة أضعاف حجمه، ويفوق معظم النماذج اللغوية غير الرائدة (LLMs) في المهام الاستدلالية الأكثر تعقيدًا مثل الرياضيات الابتدائية والبرمجة الأساسية. بشكل عام، يظهر \textbf{phi-1.5} العديد من الصفات التي تميز النماذج اللغوية الكبيرة جدًا، سواء كانت إيجابية -- مثل القدرة على ``التفكير خطوة بخطوة'' أو أداء بعض التعلم السياقي الأولي -- أو سلبية، بما في ذلك الوهم والتوليد المحتمل للنصوص السامة والمتحيزة -- ومع ذلك، فإننا نلاحظ تحسنًا في هذا الجانب بفضل عدم وجود بيانات من الإنترنت. نقوم بتوفير مصدر \textbf{phi-1.5} كودًا مفتوحًا لتشجيع المزيد من الأبحاث حول هذه المواضيع الملحة.