GOAT 算数任务微调数据集

该数据集由新加坡国立大学的研究人员于 2023 年发布，相关论文成果为「Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks」。数据集包含 dataset.json 和 dataset.ipynb 两个文件。 dataset.json 文件包含约 170 万个由 dataset.ipynb 生成的、用于算术任务的合成数据。

数据集中的每个实例都包含了以下内容：

• 指令：由人类创建的指令，通过在随机选择的模板中插入算术表达式并添加一些自然语言噪声来形成。它作为提示语，用于模型的指令微调。
• 输入：随机生成的算术表达式。当我们希望专注于算术并避免自然语言的影响时，它可以用来替代「指令」进行训练。
• 输出：模型学习的目标输出。它包含了多位数乘法和除法的链式思考 (CoTs) 。
• 答案：算术任务的直接数字答案。它可以用来测试各种子任务的学习能力。