GOAT 算術タスク微調整データセット

このデータセットは 2023 年にシンガポール国立大学の研究者によって発表され、関連する論文結果は「Goat: 微調整された LLaMA は算術タスクで GPT-4 を上回るパフォーマンスを発揮”。データセットには、dataset.json と dataset.ipynb という 2 つのファイルが含まれています。 dataset.json ファイルには、算術タスク用に dataset.ipynb によって生成された約 170 万の合成データが含まれています。

データセット内の各インスタンスには次のものが含まれます。

• 命令: 人間によって作成された命令。ランダムに選択されたテンプレートに算術式を挿入し、自然言語ノイズを追加することによって形成されます。これは、モデルの微調整指示のプロンプトとして機能します。
• 入力: ランダムに生成された算術式。自然言語の影響を避け、算数に集中したい場合のトレーニングの「指示」の代わりに使用できます。
• 出力: モデル学習の目標出力。これには、複数桁の掛け算と割り算を行うための Chains of Thinking (CoT) が含まれています。
• 答え: 算術タスクに対する直接の数値回答。さまざまなサブタスクの学習能力をテストするために使用できます。