Proof-Pile-2 est un ensemble de données tokenisé de 55 milliards de documents mathématiques et scientifiques. Un mélange d'articles scientifiques, de contenu Web lié aux mathématiques et de code mathématique mis à jour en avril 2023 (à l'exclusion d'un sous-ensemble spécifique d'étapes de preuve Lean). Cet ensemble de données a été créé pour former les modèles Llemma 7B et Llemma 34B. Il se compose de trois sous-ensembles :

• arxiv (29B jetons) : sous-ensemble ArXiv de RedPajama
• open-web-math (15B jetons) :OpenWebMath Un ensemble de données contenant de nombreux textes mathématiques de haute qualité provenant d'Internet.
• algebraic-stack (11B jetons) : Un nouvel ensemble de données de codes mathématiques couvrant le calcul numérique, l'algèbre informatique et les mathématiques formelles.

Citation

@misc{azerbayev2023llemma,
title={Llemma: An Open Language Model For Mathematics},
author={Zhangir Azerbayev and Hailey Schoelkopf and Keiran Paster and Marco Dos Santos and Stephen McAleer and Albert Q. Jiang and Jia Deng and Stella Biderman and Sean Welleck},
year={2023},
eprint={2310.10631},
archivePrefix={arXiv},
primaryClass={cs.CL}
}