OpenMath GSM8K Masked は、NVIDIA によって 2024 年に公開された、数学推論タスク向けにマスク処理を施したデータセットです。関連する論文の成果は「OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset」であり、マスク処理を施した GSM8K 解答を提供することで、追加の GSM8K データセット解答の合成生成を支援することを目的としています。この手法は、元の解答を直接使用する場合と比較して、推論の不整合が生じにくくなります。

このデータセットは、180 万組の質問-解答ペアを含む数学的な指示微調整データセットである OpenMathInstruct-1 の構築に使用され、その基盤にはライセンスが寛容な Mixtral-8x7B モデルが使用されています。

データセットの構成

データセットは JSON 形式で保存されており、train 訓練セットを含み、合計 7,473 件のサンプルがあります：

• 質問（question）：元の GSM8K 数学応用問題のテキスト内容。
• マスク解答（masked_reference_solution）：元の解答プロセスにおける一部の重要な内容をマスク処理したもので、通常は数字や中間計算結果の代わりに文字のプレースホルダーを使用し、モデルが解答ステップを補完できるようにします。
• 参考解答（reference_solution）：元の完全な解答プロセスで、マスク版との対照や新しい解答の生成を支援するために使用されます。
• 標準解答（expected_answer）：数学問題に対応する最終的な解答で、生成結果の正確性を確認するために使用できます。

Citation

@article{toshniwal2024openmath,
  title   = {OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset},
  author  = {Shubham Toshniwal and Ivan Moshkov and Sean Narenthiran and Daria Gitman and Fei Jia and Igor Gitman},
  year    = {2024},
  journal = {arXiv preprint arXiv: Arxiv-2402.10176}
}