Proof-Pile-2 ist ein tokenisierter Datensatz mit 55 Milliarden mathematischen und wissenschaftlichen Dokumenten. Eine Mischung aus wissenschaftlichen Arbeiten, mathematikbezogenen Webinhalten und mathematischem Code auf dem Stand vom April 2023 (ausgenommen eine bestimmte Teilmenge der Lean-Proof-Schritte). Dieser Datensatz wurde zum Trainieren der Modelle Llemma 7B und Llemma 34B erstellt.

Es besteht aus drei Untergruppen:

• arxiv (29 B Token): ArXiv-Teilmenge von RedPajama
• open-web-math (15 Mrd. Token):OpenWebMath Ein Datensatz mit vielen hochwertigen mathematischen Texten aus dem Internet.
• algebraic-stack (11 B-Token): Ein neuer Datensatz mathematischer Codes aus den Bereichen numerische Berechnung, Computeralgebra und formale Mathematik.