AceMath RewardBench は、NVIDIA が 2024年に公開した数学報酬モデルの能力を評価するためのデータセットです。関連論文は「AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling」で発表されており、Best-of-N（N=8）設定を用いて数学推論型報酬モデルのパフォーマンスを包括的に測定することを目的としています。

このデータセットには、GSM8K（1319問）、Math500（500問）、Minerva Math（272問）、Gaokao 2023 en（385問）、OlympiadBench（675問）、College Math（2818問）、MMLU STEM（3018問）という計7つのデータセットからのサンプルが含まれています。各サンプルには、数学問題、Qwen2/2.5-Math、Llama3.1、Mathstral、deepseek-math など8種類の異なる言語モデルによって生成された64個の多様な品質のアプローチ試行、それぞれの回答に対する正解スコア、そして問題難易度やトピック領域などのメタデータが格納されています。本ベンチマークは多様性と堅牢性を重視しており、100個のランダムシードを使用してサンプリングし、その平均結果に基づいて評価を行います。

データセット構成

データセットには以下のフィールドが含まれます：

• question：数学問題のテキスト記述
• code：モデルが生成した完全な解答・解決策リスト
• gt：正解値
• pred：各モデル応答から抽出された予測結果リスト
• score：各応答が正解と一致するかどうかを示すブール値リスト
• report：関連レポート
• idx：インデックス番号
• gt_cot：正解における思考連鎖

引用情報

@article{acemath2024,
  title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
  author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
  journal={arXiv preprint},
  year={2024}
}