HyperAI超神经

Proof-Pile-2 数学数据集

日期

1 年前

大小

47.57 GB

机构

Princeton University

发布地址

huggingface.co

特色图像

Proof-Pile-2 是一个包含 550 亿个数学和科学文档的 token 数据集。融合了科学论文、数学相关的网络内容和数学代码,其知识截止于 2023 年 4 月(不包括特定的 Lean 证明步骤子集)。创建此数据集是为了训练 Llemma 7B 和 Llemma 34B 模型。

它由三个子集组成:

  • arxiv (29B tokens): RedPajama 的 ArXiv 子集
  • open-web-math (15B tokens):OpenWebMath 数据集,其中包含来自互联网的许多高质量数学文本。
  • algebraic-stack (11B tokens):新的数学代码数据集,包括数值计算、计算机代数和形式数学。
proof-pile-2.torrent
做种 2正在下载 2已完成 74总下载次数 144
  • proof-pile-2/
    • README.md
      1.37 KB
    • README.txt
      2.73 KB
      • data/
        • proof-pile-2.zip
          47.57 GB