データセットの紹介

AceMath-RewardBenchは、数学的報酬モデルの性能を評価するためのベンチマークデータセットです。このベンチマークは、ベストオブN（N=8）方式を採用し、GSM8K、Math500、Minerva Math、Gaokao 2023 En、OlympiadBench、College Math、MMLU STEMの7つの数学的推論データセットを対象としています。これらのデータセットは、報酬モデルが複数の候補解の中から正しい解を選択する能力を測定するように設計されています。 各例には、数学の問題と、品質の異なる8種類の言語モデルによる64個の解答例が含まれています。データセットには、各解答の真のスコアに加え、問題の難易度や対象分野などのメタデータも含まれています。評価基準は、多様性（8種類のモデルから1つの問題につき64個の解答）と堅牢性（100個のランダムシードから得られた結果を平均して評価）という2つの基準に重点を置いています。

データセットの構成

このデータセットには7つのサブセットが含まれており、それぞれが異なる数学的推論課題に対応しています。具体的な問題数は以下のとおりです。 – GSM8K: 1319件の質問 – Math500：500問 – ミネルバ数学：272問 – Gaokao 2023 En: 385 の質問 OlympiadBench: 675問 – 大学数学：2818問 – MMLU STEM: 3018問 各例のデータ形式には、以下のフィールドが含まれます。question（数学の問題文） code（モデルソリューションの完全なリスト） gt（標準的な回答） pred（各解答から抽出された予測解答一覧） score（各解答が標準解答と一致するかどうかを示すブール値のリスト） idx（索引）、 report（報告）、 gt_cot（標準的な回答の背後にある思考プロセス） このデータセットは、多様性（8つの異なるモデルからの64の回答）と堅牢性（100個の乱数シードを使用して64の候補から8つの候補がランダムに選択され、平均結果が報告される）を特徴としています。このデータセットは、特に最適なN対1設定において、数学的報酬モデルの性能を評価するのに適しています。 ライセンス情報：このデータセットは、クリエイティブ・コモンズ表示-非営利4.0国際ライセンス（CC-BY-NC-4.0）に基づいてライセンスされており、非営利目的でのみ使用できます。

引用

@article{acemath2024, タイトル={AceMath: トレーニング後と報酬モデリングによる最先端の数学推論の進歩}、 著者={Liu, Zihan、Chen, Yang、Shoeybi, Mohammad、Catanzaro, Bryan、Ping, Wei}、 ジャーナル={arXivプレプリント}、 年={2024} }