AceMath RM Training Data 是由 NVIDIA 于 2024 年发布的一个用于数学结果奖励模型（Outcome Reward Modeling）训练的数据集，相关论文成果为「AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling」，旨在提升大模型在数学推理任务中的表现。

该数据集包含 356,058 个唯一的数学问题，共计 2,136,348 个样本，每个问题对应 6 个不同的响应。 数据主要用于训练 AceMath-7B 和 AceMath-72B 奖励模型，通过评估模型回答的正确性来优化数学推理能力。 在多个基准测试中，基于该数据训练的模型展现了卓越的数学推理性能，超越了多种主流开源及专有模型。

数据集组成

数据集主要包含以下字段和结构：

• qid：唯一的问题标识符。
• message：包含系统提示、用户问题及助手逐步解决方案的对话列表。每条消息包含 role（角色，如 system, user, assistant）和 content（内容）。
• label：二分类标签，表示响应是否正确/优秀（1 为正确，0 为错误）。

数据格式为 JSON 对象列表，可直接用于加载和训练。每个样本代表一个数学问题及其多个候选解答的对比数据。

数据集示例

Citation

@article{acemath2024,
  title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
  author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
  journal={arXiv preprint},
  year={2024}
}