AceMath RM Training Data は、NVIDIA が2024年に公開した、数学の結果報酬モデル（Outcome Reward Modeling）のトレーニング用データセットであり、関連論文は「AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling」です。大規模モデルの数学推論タスクにおける性能向上を目的としています。

このデータセットには、356,058個のユニークな数学問題が含まれており、合計2,136,348サンプルで、各問題には6つの異なる応答が対応しています。 データは主にAceMath-7BおよびAceMath-72B報酬モデルのトレーニングに使用され、モデルの回答の正確性を評価することで数学推論能力を最適化します。 複数のベンチマークテストにおいて、このデータに基づいてトレーニングされたモデルは卓越した数学推論性能を示し、さまざまな主流のオープンソースおよび専有モデルを上回りました。

データセットの構成

データセットには主に以下のフィールドと構造が含まれています：

• qid：ユニークな問題識別子。
• message：システムプロンプト、ユーザーの質問、アシスタントの段階的な解決策を含む会話リスト。各メッセージには、role（役割、例：system、user、assistant）とcontent（内容）が含まれます。
• label：二値分類ラベルで、応答が正しいか優れているかを示します（1は正しい、0は誤り）。

データ形式はJSONオブジェクトのリストで、直接ロードしてトレーニングに使用できます。各サンプルは、数学問題とその複数の候補解答の比較データを表します。

Citation

@article{acemath2024,
  title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
  author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
  journal={arXiv preprint},
  year={2024}
}