Proof-Pile-2 数学数据集

Proof-Pile-2 是一个包含 550 亿个数学和科学文档的 token 数据集。融合了科学论文、数学相关的网络内容和数学代码,其知识截止于 2023 年 4 月(不包括特定的 Lean 证明步骤子集)。创建此数据集是为了训练 Llemma 7B 和 Llemma 34B 模型。
它由三个子集组成:
arxiv
(29B tokens): RedPajama 的 ArXiv 子集open-web-math
(15B tokens):OpenWebMath 数据集,其中包含来自互联网的许多高质量数学文本。algebraic-stack
(11B tokens):新的数学代码数据集,包括数值计算、计算机代数和形式数学。
proof-pile-2.torrent
做种 2正在下载 2已完成 74总下载次数 144