AceMath-RM トレーニングデータ

データセットの紹介

AceMath-RMトレーニングデータは、AceMath-7B/72B-RM数学結果報酬モデルのトレーニングに使用されるデータセットです。このデータセットには、それぞれ6つの異なる解答を持つ356,058個の固有の数学問題が含まれており、合計2,136,348個のサンプルがあります。各サンプルには、問題、段階的な解答、およびバイナリラベル（正解の場合は1、不正解の場合は0）が含まれています。 このデータセットは、数学的推論分野における報酬モデルの学習を支援することを目的としています。このデータで学習された報酬モデルは、複数の数学的推論ベンチマークにおいて非常に優れた性能を発揮しています。例えば、AceMath-72B-RMは、GSM8K、MATH500、Minerva Mathを含む7つのベンチマークにおいて、平均rm@8精度69.53%を達成し、これまでの最高モデルを上回りました。

データセットの構成

• データスケール356,058の固有の数学問題、2,136,348のサンプル（各問題につき6つの候補解答）。
• データ形式各サンプルはJSON形式で、以下のフィールドが含まれています。qid（問題の固有識別子） message（会話履歴。システムプロンプト、ユーザーの質問、アシスタントの回答を含む。） label（二進分数）
• データセットのセグメンテーション分割は行わず、すべてのデータをトレーニングに使用します。
• 特徴と特性問題は数学の複数の分野を網羅しており、解答には段階的な推論プロセスが含まれており、ラベルは人間または自動化された方法で付けられています。
• ユースケース複数の候補の中から最適な回答を選択するために、数学的な結果報酬モデルを訓練する。
• データフォーマットの例:qid 文字列の場合、message リストの場合、各要素には role そして content、label 値は0または1です。
• 重要な注意事項このデータセットは非営利目的でのみ使用可能であり、CC-BY-NC-4.0ライセンスの下で提供されています。NVIDIAが公開したこのデータセットの元の質問は、OpenAIモデルによって生成されたデータに基づいており、OpenAIの利用規約を遵守する必要があります。
• ライセンス：クリエイティブ・コモンズ 表示: 非営利 4.0 国際。

引用

私たちの研究がお役に立てば、ぜひ引用してください。

@article{acemath2024,
title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
journal={arXiv preprint},
year={2024}
}