AceMath RewardBench は、NVIDIA が 2024 年に公開した、数学的報酬モデルの能力を評価するためのデータセットであり、関連する論文成果は「AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling」にあります。このデータセットは、ベスト・オブ・N（N=8）設定を通じて、数学的推論報酬モデルの性能を総合的に測定することを目的としています。

このデータセットには、GSM8K（1319 問）、Math500（500 問）、Minerva Math（272 問）、Gaokao 2023 en（385 問）、OlympiadBench（675 問）、College Math（2818 問）、MMLU STEM（3018 問）の 7 つのデータセットからのサンプルが含まれています。 各サンプルには、1 つの数学問題、Qwen2/2.5-Math、LLama3.1、Mathtral、deepseek-math などの 8 つの異なる言語モデルによって生成された 64 種類の異なる品質の回答試行、各回答のグラウンドトゥルーススコア、および問題の難易度やトピック領域などのメタデータが含まれています。 このベンチマークは、多様性とロバスト性に焦点を当てており、100 個のランダムシードを使用したランダムサンプリングによって平均結果を評価します。

データセット構成

データセットには以下のフィールドが含まれています：

• question：数学問題のテキスト説明
• code：モデルによって生成された完全な回答/解決策のリスト
• gt：グラウンドトゥルースの回答
• pred：各モデルの応答から抽出された予測結果のリスト
• score：各応答がグラウンドトゥルースの回答と一致するかどうかを示すブール値のリスト
• report：関連レポート
• idx：インデックス
• gt_cot：グラウンドトゥルースの思考連鎖

Citation

@article{acemath2024,
  title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
  author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
  journal={arXiv preprint},
  year={2024}
}