Proof-Pile-2 عبارة عن مجموعة بيانات مميزة مكونة من 55 مليار مستند رياضي وعلمي. مزيج من الأوراق العلمية ومحتوى الويب المتعلق بالرياضيات وأكواد الرياضيات حتى أبريل 2023 (باستثناء مجموعة فرعية محددة من خطوات Lean proof). تم إنشاء مجموعة البيانات هذه لتدريب نموذجي Llemma 7B وLlemma 34B. وهو يتألف من ثلاث مجموعات فرعية:

• arxiv (29 مليار رمز): مجموعة فرعية من ArXiv تابعة لـ RedPajama
• open-web-math (15 مليار رمز):أوبن ويب ماث مجموعة بيانات تحتوي على العديد من النصوص الرياضية عالية الجودة من الإنترنت.
• algebraic-stack (11 مليار رمز): مجموعة بيانات جديدة من الرموز الرياضية التي تغطي الحوسبة العددية، والجبر الحاسوبي، والرياضيات الرسمية.

الاستشهاد

@misc{azerbayev2023llemma,
title={Llemma: An Open Language Model For Mathematics},
author={Zhangir Azerbayev and Hailey Schoelkopf and Keiran Paster and Marco Dos Santos and Stephen McAleer and Albert Q. Jiang and Jia Deng and Stella Biderman and Sean Welleck},
year={2023},
eprint={2310.10631},
archivePrefix={arXiv},
primaryClass={cs.CL}
}