MetaMathQA 数学推理数据集

大多数现有的开源 LLM（例如 LLaMA-2）推理过程都比较复杂，在解决数学问题方面仍然不能令人满意。为了弥补这一差距，研究人员提出了 MetaMath，这是一种专门从事数学推理的微调语言模型。为了提升模型的正向和逆向推理能力，剑桥、港科大、华为的研究者基于两个常用的数学数据集（GSM8K 和 MATH）提出了 MetaMathQA 数据集：一个覆盖面广、质量高的数学推理数据集。 MetaMathQA 由 395K 个大语言模型生成的正向逆向数学问答对组成。他们在 MetaMathQA 数据集上基于 LLaMA-2 微调得到专注于数学推理（正向和逆向）的大语言模型 MetaMath，在数学推理数据集上达到了 SOTA 。 MetaMathQA 数据集和不同规模的 MetaMath 模型已开源供研究人员使用。

MetaMathQA 包含四种数据增强的方法：

1. Answer Augmentation（答案增强）：给定问题，通过大语言模型生成能得到正确结果的思维链作为数据增广。
2. Rephrasing Question（问题改写增强）：给定元问题，通过大语言模型重写问题并生成得到正确结果的思维链作为数据增广。
3. FOBAR Question（FOBAR 逆向问题增强）：给定元问题，通过掩码条件中的数字为 x，给定原有答案并反推×来产生逆向问题，并基于该逆向问题生成正确的思维链过程来进行数据增广
4. Self-Verification Question（Self-Verification 逆向问题增强）：在 FOBAR 的基础上，通过大语言模型改写逆向问题部分为陈述的语句来进行数据增广。