AceMath-RM-训练数据

数据集简介

AceMath-RM-训练数据是用于训练 AceMath-7B/72B-RM 数学结果奖励模型的数据集。该数据集包含 356,058 个独特的数学问题，每个问题有 6 个不同的回答，共计 2,136,348 个样本。每个样本包含问题、逐步解答以及二元标签（1 表示正确，0 表示错误）。 该数据集旨在支持数学推理领域的奖励模型训练。基于此数据训练的奖励模型在多个数学推理基准上表现出色，例如 AceMath-72B-RM 在 GSM8K 、 MATH500 、 Minerva Math 等七个基准上的平均 rm@8 准确率达到 69.53%，超越了此前的最佳模型。

数据集组成

• 数据规模：356,058 个唯一数学问题，2,136,348 个样本（每个问题对应 6 个候选回答）。
• 数据格式：每个样本为 JSON 格式，包含字段：qid（问题唯一标识）、 message（对话历史，包括 system 提示、用户问题和助手回答）、 label（二进制分数）。
• 数据集分割：无分割，全部数据用于训练。
• 特征与特点：问题覆盖多个数学分支，回答包含逐步推理过程，标签由人工或自动方法标注。
• 使用场景：训练数学结果奖励模型，用于从多个候选回答中选择最佳答案。
• 数据格式示例：qid 为字符串，message 为列表，每个元素包含 role 和 content，label 为 0 或 1 。
• 重要说明：该数据集仅可用于非商业用途，许可证为 CC-BY-NC-4.0 。数据集由 NVIDIA 发布，原始问题来源于 OpenAI 模型生成的数据，需遵守其使用条款。
• 许可证：Creative Commons Attribution: Non-Commercial 4.0 International 。

Citation

如果您认为我们的工作有帮助，请引用我们：

@article{acemath2024,
title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
journal={arXiv preprint},
year={2024}
}