AceMath RewardBench 是由 NVIDIA 于 2024 年发布的一个用于评估数学奖励模型能力的数据集，相关论文成果为「AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling」，旨在通过最佳-of-N（N=8）设置全面衡量数学推理奖励模型的性能。

该数据集包含 GSM8K（1319 题）、Math500（500 题）、Minerva Math（272 题）、Gaokao 2023 en（385 题）、OlympiadBench（675 题）、College Math（2818 题）和 MMLU STEM（3018 题）共 7 个数据集的样本。 每个样本包含一道数学问题、来自 Qwen2/2.5-Math、LLama3.1、Mathtral 和 deepseek-math 等 8 个不同语言模型生成的 64 种不同质量的答案尝试、每种答案的地面真实评分，以及问题难度和主题领域等元数据。 该基准测试侧重于多样性和鲁棒性，通过 100 个随机种子随机采样评估平均结果。

数据集组成

数据集包含以下字段：

• question：数学问题的文本描述
• code：模型生成的完整答案/解决方案列表
• gt：地面真实答案
• pred：从每个模型响应中提取的预测结果列表
• score：指示每个响应是否与地面真实答案匹配的布尔值列表
• report：相关报告
• idx：索引
• gt_cot：地面真实思维链

Citation

@article{acemath2024,
  title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
  author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
  journal={arXiv preprint},
  year={2024}
}