نقدّم نموذج لغة كبير يُدعى Llemma مُخصص للرياضيات. قمنا بمواصلة التدريب المسبق لنموذج Code Llama على مجموعة بيانات Proof-Pile-2، التي تتكوّن من مزيج من الأوراق العلمية، وبيانات الويب التي تحتوي على رياضيات، والكود الرياضي، مما أدى إلى تطوير Llemma. وعلى معيار MATH، يتفوّق Llemma على جميع النماذج المفتوحة المتوفرة حاليًا، وكذلك على مجموعة نماذج Minerva غير المُعلنة، عند مقارنة النماذج ذات نفس عدد المعاملات. علاوةً على ذلك، يتمكّن Llemma من استخدام الأدوات والبرهان الرمزي على النظريات دون الحاجة إلى أي تدريب دقيق إضافي. ونُعلن عن إتاحة جميع المواد المرتبطة بالمشروع بشكل مفتوح، بما في ذلك نماذج بحجم 7 مليار و34 مليار معامل، ومجموعة بيانات Proof-Pile-2، بالإضافة إلى الكود اللازم لاستنساخ تجاربنا.