Proof-Pile-2 是一个包含 550 亿个数学和科学文档的 token 数据集。融合了科学论文、数学相关的网络内容和数学代码，其知识截止于 2023 年 4 月（不包括特定的 Lean 证明步骤子集）。创建此数据集是为了训练 Llemma 7B 和 Llemma 34B 模型。

它由三个子集组成：

• arxiv (29B tokens）： RedPajama 的 ArXiv 子集
• open-web-math (15B tokens）：OpenWebMath 数据集，其中包含来自互联网的许多高质量数学文本。
• algebraic-stack (11B tokens）：新的数学代码数据集，包括数值计算、计算机代数和形式数学。