MetaMathQA 数学的推論データセット

既存のオープンソース LLM (LLaMA-2 など) のほとんどは、複雑な推論プロセスを備えており、数学的問題を解決するにはまだ不十分です。このギャップを埋めるために、研究者らは数学的推論に特化した微調整された言語モデルである MetaMath を提案しました。モデルの順推論および逆推論の能力を向上させるために、ケンブリッジ、香港科技大学、ファーウェイの研究者は、一般的に使用される 2 つの数学的データ セット (GSM8K および MATH) に基づいた MetaMathQA データ セットを提案しました。これは、広範囲をカバーし高品質な数学的推論データ セットです。 MetaMathQA は、大規模な言語モデルによって生成された 395K の順方向および逆方向の数学的な質問と回答のペアで構成されています。彼らは、MetaMathQA データ セット上で LLaMA-2 を微調整して、数学的推論 (順方向および逆方向) に焦点を当てた大規模な言語モデルである MetaMath を取得し、数学的推論データ セットの SOTA に到達しました。 MetaMathQA データセットとさまざまなスケールの MetaMath モデルは、研究者が使用できるようにオープンソース化されています。

MetaMathQA には 4 つのデータ拡張方法が含まれています。

1. 回答の拡張: 質問が与えられると、正しい結果を得ることができる思考の連鎖が、データ拡張として大規模な言語モデルを通じて生成されます。
2. 質問の言い換え (質問の書き換え強化): メタ質問が与えられた場合、大規模な言語モデルを通じて質問を書き直し、データ拡張として正しい結果を得る思考の連鎖を生成します。
3. FOBAR 質問 (FOBAR 逆質問拡張): メタ質問が与えられた場合、マスク条件内の数値はデータ拡張を実行します。
4. Self-Verification Question (Self-Verification 逆質問拡張): FOBAR に基づいて、大規模言語モデルを使用して逆質問部分をステートメントに書き換えてデータ拡張を実行します。