OpenMathInstruct-1 は、NVIDIA によって 2024 年に公開された、180 万組の問題と解決策を含む数学的な指示チューニング用データセットであり、関連する論文成果は「OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset」です。合成データを用いて、モデルの数学的推論およびコード生成能力を向上させることを目的としています。

このデータセットには、GSM8K および MATH の訓練サブセットからの問題が含まれており、解決策は Mixtral-8x7B モデルによって、テキスト推論と Python コードインタープリターの実行を組み合わせることで生成されました。 データセットは訓練セットと検証セットに分かれており、GSM8K および MATH の完全な訓練セット範囲をカバーしています。また、期待される回答、予測された回答、エラー情報などの詳細なフィールド情報が提供されています。

データセットの構成

このデータセットには以下のフィールドが含まれています：

• question：GSM8K または MATH の訓練セットからの元の問題。
• generated_solution：テキスト推論とコードブロックが混在する合成解決策。
• expected_answer：元のデータセットで提供されている事実上の正解。
• predicted_answer：Mixtral モデルが対応する解決策から抽出した回答（\boxed{} から抽出）。
• error_message：コードが使用されていない場合は <not_executed>。それ以外の場合は空、または対応するコードブロックからの Python 例外を含む。timeout 文字列は、コードブロックの実行時間が 10 秒を超えたことを示します。
• is_correct：最終的な回答が採点スクリプトによって正解と判定されたかどうか。
• dataset：元のデータセット名、gsm8k または math。
• generation_type：without_reference_solution または masked_reference_solution。

引用

@article{toshniwal2024openmath,
  title   = {OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset},
  author  = {Shubham Toshniwal and Ivan Moshkov and Sean Narenthiran and Daria Gitman and Fei Jia and Igor Gitman},
  year    = {2024},
  journal = {arXiv preprint arXiv: Arxiv-2402.10176}
}