AceMath RMトレーニングデータは、NVIDIAによって2024年に公開された結果報酬モデル（Outcome Reward Modeling）の訓練用データセットであり、関連論文は「AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling」、その目的は大規模言語モデルの数推論タスクにおけるパフォーマンスを向上させることです。

このデータセットには356,058個の一意な数学問題が含まれており、合計で2,136,348件のサンプルがあります。各問題は6つの異なる応答に対応しています。 データは主にAceMath-7BおよびAceMath-72B報酬モデルの訓練に使用され、モデルの回答が正しいかどうかを評価することで数推論能力を最適化します。 複数のベンチマークテストにおいて、本データを基に訓練されたモデルは卓越した数推論性能を示し、多くの主要なオープンソースおよびプロプライエタリモデルを上回りました。

データセット構成

データセットは以下のフィールドと構造を含みます：

• qid：固有の問題識別子。
• message：システムプロンプト、ユーザー質問、アシスタントによる段階的な解決策を含む会話リスト。各メッセージにはrole（役割例：system, user, assistant）とcontent（コンテンツ）が含まれます。
• label：バイナリ分類ラベルで、応答が正解か優秀かを表す（1が正解、0が不正解）。

データ形式はJSONオブジェクトのリストであり、直接読み込んで訓練に利用可能です。各行は1つの数学問題とその複数候補解答からの比較データを表します。

データセット例

引用

@article{acemath2024,
  title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
  author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
  journal={arXiv preprint},
  year={2024}
}