OpenMathInstruct-1：180万件の数学向け指示微調整データセット

最近の研究では、合成されたデータセットが大規模言語モデル（LLM）の学習、特に特定のスキルの習得に極めて大きな潜在能力を持つことが示されている。現在、MetaMathQA（Yuら、2024年）やMAmmoTH（Yueら、2024年）といった大規模な数学指導チューニングデータセットは、商用利用制限のあるライセンスを有する閉鎖型LLMの出力を利用して構築されている。こうしたデータ生成パイプラインにおいてオープンソースLLMの利用が制限される主な理由は、GPT-4などの最良の閉鎖型LLMと、最良のオープンソースLLMとの間にある広い数学的スキルのギャップにある。近年のオープンソースLLMの進展、我々が提案する新しいプロンプト技法、およびある程度のブルートフォースなスケーリングを活用することで、180万件の問題-解答ペアを含む数学指導チューニングデータセット「OpenMathInstruct-1」を構築した。このデータセットは、最近リリースされた許可が緩やかなMixtralモデルを用いて、GSM8KおよびMATHという2つの代表的な数学推論ベンチマークのコードインタプリタによる解決手順を合成することで構成されている。本研究で開発した最良のモデル、OpenMath-CodeLlama-70Bは、OpenMathInstruct-1のサブセットで学習させた結果、GSM8Kで84.6%、MATHで50.7%のスコアを達成し、最良のgpt-distilledモデルと比較しても競争力を持つ結果となった。本研究では、コード、モデル、およびOpenMathInstruct-1データセットを商業的に利用可能なライセンスのもとで公開する。