一句话总结

中国科学技术大学与 Metastone Technology 的研究人员提出归因接地，这是一种两阶段框架，将真实指令自上而下地归因于情境化用户，并自下而上地从网络文档合成指令，从而生成 SynthQuestions。SynthQuestions 是一个包含一百万条指令的数据集；在该数据集上训练的模型取得了领先的基准性能，并且这些性能随额外网络语料的增加而持续提升。

核心贡献

• 论文构建了 REALQUESTIONS，这是一个经过清洗和筛选的人类指令数据集，为指令合成提供种子数据和上下文示例。

• 论文提出归因接地框架，首先把真实指令映射到情境化用户和动机，然后利用网络文档大规模生成真实情境和有意义指令。

• 该框架生成 SYNTHQUESTIONS，这是一个包含 100 万条合成指令的数据集；在其上微调的 LLaMA-3-8B 模型取得领先基准结果，与使用 10 倍更多数据并加入偏好训练训练的模型相当，并且随着网络语料增长，性能提升持续存在。

引言

指令遵循大语言模型依赖对齐训练，该训练使用指令响应对，使模型按照人类意图行动。这一点很重要，因为在复杂多变任务上具备强大能力需要高质量、多样且大规模的数据。

早期方法收集人类对话，或从种子任务、网络概念、模拟提问者合成指令。这些方法能够生成大规模集合，但往往继承狭窄的设计偏见，无法捕捉真实用户需求的情境化、生动多样特征。

作者引入归因接地框架。将一条指令视为归属文档、用户和动机，然后反转该结构，从网络文档生成真实情境和指令。构建清洗后的种子集 RealQuestions，并创建包含 100 万样本的 SynthQuestions 数据集。在 SynthQuestions 上微调一个 8B Llama 3 模型得到强劲基准结果，与使用远更多数据或偏好训练训练的模型相当。

数据集

• 作者使用 REALQUESTIONS 作为高质量种子指令数据集。它由七个标注人类指令来源收集的 1.92M 原始对话构建而成：Chatbot Arena Conversations、Databricks-dolly-15k、LMSYS-Chat-1M、OpenAssistant、ShareGPT、Ultra-Chat 和 WildChat。

• 作者通过移除不完整对话和非英语对话来清洗数据。还移除类似 Alpaca Eval 2.0 和 Arena Hard 等评测基准的指令。丢弃模型响应，仅保留第一轮用户指令。

• 对于语义去重，作者嵌入指令，并使用相似度阈值为 0.85 的社区检测。每个语义簇保留一条指令，同时保留未能聚类的离群指令，以保留独特样本。该过程将数据集减少到 690K 对话。

• 作者使用修改后的 Arena Hard 评分标准，从七个维度对剩余指令评分，并以 LLaMA-3-70B-Instruct 作为评判模型。获得满分的 29K 条指令构成 REALQUESTIONS。该种子集用于后续生成任务的接地依据和示例，并在其上微调 LLaMA-3-8B 以验证数据质量。

• 作者通过将 REALQUESTIONS 指令与现实世界情境关联来构建归因接地数据。LLaMA-3-70B-Instruct 从每条指令中提取关键概念，网络搜索提供排名第一的文档，随后模型模拟用户和动机。由此得到包含指令、文档、用户和动机的元组。

• 对于 SYNTHQUESTIONS，作者从文档而非真实用户提示出发合成新指令。文档来源主要为 FineWeb，并混合 PILE 和 MathPILE，以纳入高难度数学和编码内容。LLaMA-3-8B-Instruct 为每篇文档生成用户画像和动机，然后生成新的用户风格指令。

• 合成指令使用相同的七维评分标准评分。评分低于 3 的指令被移除，以过滤不清楚或含糊的样本，同时保留明确性、问题求解和技术准确性等要求。使用 BERTopic 进行主题建模，最终 1M 的 SYNTHQUESTIONS 通过在每个主题内选择最高分指令构建，以提升多样性。

• 作者报告 SYNTHQUESTIONS 具有较长的平均回合长度，并通过 MTLD 测得较强的词汇多样性。语义多样性使用句子嵌入、t-SNE 投影和在 10,000 条抽样指令上计算的 Vendi Score 进行评估，结果显示 SYNTHQUESTIONS 具有高度多样性。

• 作者还通过使用 Arena Hard 标准对 10,000 条未过滤合成指令评分来评估复杂性，并观察到得分集中在较高区间。使用 LLaMA-Guard-3-8B 检查安全性，该模型将 1M 数据集中 4.32% 标记为潜在风险，主要集中在专业建议类别。开源数据集时移除有害内容。

• 未描述任何视觉裁剪策略，因为该数据集由文本指令和相关元数据组成，例如文档、用户画像和动机。

方法

提出的数据生成流程围绕归因接地组织。它使用两个互补过程：一个自上而下的归因步骤，用于恢复现有指令的情境因素；以及一个自下而上的合成步骤，用于从接地情境生成新指令。目标是创建锚定于可信用户角色、现实世界文档和清晰动机的指令。

在自上而下的归因过程中，每条指令都关联到文档、用户和动机。作者首先使用 LLaMA-3-70B-Instruct 从指令中提取关键概念。这些关键概念用作网络检索查询，排名最高的检索页面被视为支持文档。该文档提供关于指令所隐含现实世界情境的背景知识。

随后，作者使用文档和原始指令一起提示 LLaMA-3-70B-Instruct。要求模型想象一个情境，其中用户与文档交互并出于特定原因产生该指令。该步骤推断用户画像和动机，使指令更可信。使用人工制作的示例来引导模型形成更有根据的归因。得到的归因样本可表示为：

$$RQ^{\alpha} = \{(i, d, u, m)\}$$RQα={(i,d,u,m)}

其中 $i$i 是指令，$d$d 是归因得到的文档，$u$u 是推断出的用户，$m$m 是推断出的动机。

自下而上的合成过程反转该方向。不是从指令出发并恢复上下文，而是从文档出发并合成用户、动机，然后生成指令。来自 $RQ^{\alpha}$RQα 的归因样本被复用为示例，以规范生成交互。

对于文档收集，流程使用通用网络文档作为主要来源。它还纳入涉及更复杂推理任务的文档，例如数学或编码材料，以促进更高质量的推理导向指令。对于每篇文档，作者提示 LLaMA-3-8B-Instruct 生成有根据的用户和动机。该步骤以文档本身、接地提示以及来自归因数据集的示例为条件：

$$(u', m') = \text{LLaMA}(P_g, d', demo)$$(u′,m′)=LLaMA(Pg​,d′,demo)

其中 $u'$u′ 和 $m'$m′ 是生成的用户和动机，$d'$d′ 是输入文档，$P_g$Pg​ 是接地提示，$demo$demo 包含由 $RQ^{\alpha}$RQα 导出的示例。

为文档生成用户和动机后，要求模型扮演该用户，并产出在构建情境中最自然产生的指令。这生成一条新的合成指令：

$$i' = \text{LLaMA}(P_i, d', u', m', demos)$$i′=LLaMA(Pi​,d′,u′,m′,demos)

其中 $i'$i′ 是生成的指令，$P_i$Pi​ 是指令生成提示，$demos$demos 提供有根据的用户行为示例。

生成的指令随后使用指令级评分函数进行过滤。过滤阶段优先考虑明确性、问题求解清晰度和技术准确性等维度。得分低于 3 的指令被丢弃。该阈值通过启发式设定，而不是要求在所有维度上取得满分，使流程保持一定容错性，同时移除不清楚或含糊的指令。

最后，流程通过 BERTopic 进行主题建模来处理多样性。对于每个发现的主题，保留得分最高的指令以构成最终数据集。这生成一个合成指令集合，这些指令有文档、用户角色和动机作为根据，同时平衡质量和主题多样性。

实验

实验在 SYNTHQUESTIONS 上训练 LLaMA 和 Qwen 模型，并评估指令遵循、推理、封闭式知识、偏好优化、规模扩展和消融。数据提升对齐和推理能力，与开源及部分闭源基线保持竞争力，并从偏好优化中受益；随着合成数据规模增长以及不同模型架构和尺寸，增益保持一致。消融实验表明，归因接地必不可少，且数学或代码文档有助于高难度推理任务。

在 Alpaca Eval 2.0 上，使用 SYNTHQUESTIONS 训练的模型在基于开源数据训练的模型中取得最强对齐性能。还与在闭源数据上训练的模型保持竞争力，并在 Alpaca Eval 2.0 上超过 Mistral-7B-Instruct-v0.3。在 Arena Hard 上，MAmmoTH2 表现更好，可能原因是它同样使用了外部数学和代码数据集。在 Alpaca Eval 2.0 上，SYNTHQUESTIONS 训练得到最佳开源数据结果。在 Alpaca Eval 2.0 上，SYNTHQUESTIONS 训练模型优于 MAmmoTH2 和 HumpBack。在 Arena Hard 上，MAmmoTH2 领先，可能由于额外的数学和代码微调。SYNTHQUESTIONS 训练模型与闭源数据模型和强化学习模型相比具有可比性。

在封闭式知识和推理任务上，使用 SYNTHQUESTIONS 训练的模型保持强劲竞争力。在基于开源数据训练的模型中，SYNTHQUESTIONS 在报告基准上持续位于或接近前列。基于闭源数据训练的领先模型仍在多个推理和学科特定任务上表现优势。SYNTHQUESTIONS 训练模型在通用知识、指令遵循和数学任务上与开源基线保持竞争力或领先。闭源指令微调模型在多个高级推理和学科特定评估上仍然更强。

在提出的合成指令上使用 DPO 训练的模型，在比较的 DPO 变体中取得最强结果。它们达到最高 Alpaca Eval 胜率，并在该指标上超过 LLaMA-3-70B-Instruct，同时在 Arena Hard 分数上优于其他合成数据集。Arena Hard 结果仍低于 70B 参考模型，表明优势在 Alpaca Eval 上最强。使用提出数据集的 DPO 在评估的 DPO 变体中给出最佳 Alpaca Eval 胜率。提出的 DPO 模型在 Alpaca Eval 胜率上超过 LLaMA-3-70B-Instruct。Arena Hard 表现优于其他 DPO 数据集，但仍低于 70B 模型。

在固定尺寸指令子集上训练 Qwen2.5-7B 和 Qwen2.5-14B 表明，SYNTHQUESTIONS 可良好迁移到不同模型规模。在 Qwen2.5-7B 比较中，它在 Alpaca Eval 和多数知识与推理基准上取得最佳分数，并在 MATH 上表现显著优势。其在 GPQA 上较弱表现表明在科学密集评测中仍存在差距。SYNTHQUESTIONS 为 Qwen2.5-7B 给出最强 Alpaca Eval 结果。该优势在数学推理上最大，尤其是在 MATH 上。GPQA 表现不如其他推理基准具有竞争力。

消融结果表明，移除归因接地会使 Alpaca Eval 和 GSM8K 性能相对于完整合成指令集明显下降。加入数学和代码文档对 Alpaca Eval 影响较小，但提升 GSM8K 准确率，说明这些文档对数学推理尤其有用。归因接地是提升整体模型性能的关键因素。数学和代码文档主要使 GSM8K 受益，同时保持 Alpaca Eval 性能。

实验评估了在 SYNTHQUESTIONS 上训练或经过 DPO 调优的模型在开放式指令遵循、知识、推理、数学和消融设置上的表现。结果表明，数据带来强劲开源对齐，尤其是在 Alpaca Eval 上，并与闭源或更大模型保持竞争力；不过，闭源模型和使用外部数学或代码微调的基线在 Arena Hard 或专业推理上可能领先。跨尺寸和消融实验证实了良好迁移、数学推理上的显著提升，以及归因接地的核心作用；数学和代码来源主要使 GSM8K 受益。