AceMath-RewardBenchは、数学的報酬モデルの性能を評価するためのベンチマークデータセットです。このベンチマークは、ベストオブN（N=8）方式を採用し、GSM8K、Math500、Minerva Math、Gaokao 2023 En、OlympiadBench、College Math、MMLU STEMの7つの数学的推論データセットを対象としています。これらのデータセットは、報酬モデルが複数の候補解の中から正しい解を選択する能力を測定するように設計されています。 各例には、数学の問題と、品質の異なる8種類の言語モデルによる64個の解答例が含まれています。データセットには、各解答の真のスコアに加え、問題の難易度や対象分野などのメタデータも含まれています。評価基準は、多様性（8種類のモデルから1つの問題につき64個の解答）と堅牢性（100個のランダムシードから得られた結果を平均して評価）という2つの基準に重点を置いています。

データセットの構成

• このデータセットには7つのサブセットが含まれており、それぞれが異なる数学的推論課題に対応しています。具体的な問題数は以下のとおりです。
• GSM8K: 1319件の質問
• Math500：500問
• ミネルバ数学：272問
• 大学入試2023 英語: 385問
• OlympiadBench: 675問
• 大学数学：2818問
• MMLU STEM: 3018問 各例のデータ形式には、次のフィールドが含まれます。question（数学の問題のテキスト）、code（モデルソリューションの完全なリスト）、gt（標準の解答）、pred（各ソリューションから抽出された予測解答のリスト）、score（各ソリューションが標準の解答と一致するかどうかを示すブール値のリスト）、idx（インデックス）、report（レポート）、gt_cot（標準の解答の思考プロセス）。 このデータセットは、多様性（8つの異なるモデルからの64の回答）と堅牢性（100個の乱数シードを使用して64の候補から8つの候補がランダムに選択され、平均結果が報告される）を特徴としています。このデータセットは、特に最適なN対1設定において、数学的報酬モデルの性能を評価するのに適しています。 ライセンス情報：このデータセットは、クリエイティブ・コモンズ表示-非営利4.0国際ライセンス（CC-BY-NC-4.0）に基づいてライセンスされており、非営利目的でのみ使用できます。

引用

@article{acemath2024,
title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
journal={arXiv preprint},
year={2024}
}