一句话总结

研究人员提出一种框架，通过在按合成过程奖励排序的轨迹上进行直接偏好优化来学习基于规划的推理，从而规避基于规划的搜索的高延迟以及人工标注成本，使一个 7B 模型在具有挑战性的逻辑推理基准上超过 GPT-3.5-Turbo。

核心贡献

• 本文提出一个框架，通过在按合成过程奖励排序的轨迹上进行直接偏好优化，在大型语言模型中学习基于规划的推理，从而降低在线搜索延迟和人工过程监督成本。
• 该方法从种子轨迹中采样中间推理状态，收集重试补全，并使用成功结果计数作为期望回报来训练过程奖励模型，用于标注轨迹偏好。
• 在逻辑推理和数学推理基准上的实验显示，该方法优于稳健基线，并且报告的 7B 模型在逻辑推理方面超过 GPT-3.5-Turbo 等强对手，同时产生更可靠且简洁的推理依据。

引言

自然语言推理是规划和决策等 AI 应用的核心，大型语言模型能够生成逐步推理依据，但在复杂任务中仍然会生成具有误导性的推理链。已有方法依赖人工步骤级监督，或依赖蒙特卡洛树搜索等在线搜索方法，例如将推理视为规划；然而，人工标注成本高昂，在线搜索也会引入较大延迟和计算开销。研究人员利用离线模拟，从已收集的解答中采样中间推理状态，并根据后续推理到达正确结果的频率估计过程奖励。他们使用这些估计奖励训练过程奖励模型，并使用直接偏好优化优化语言模型，从而在降低对人工标注依赖的同时提升逻辑推理和数学推理性能。

数据集

• 本文聚焦两个推理领域：逻辑推理和数学推理。

• 逻辑推理使用 ReClor 和 LogiQA-v2 作为评测基准。两者都是多项选择问答数据集，并被描述为具有挑战性且广泛使用。它们的确切统计信息见表 3，但给定文本中未给出。

• 数学推理使用 GSM8K 和 MATH 的测试集进行评测。给定文本未指定训练划分或混合比例。

• 对于奖励和偏好数据构建，作者从完整推理轨迹构建数据，轨迹表示为状态和动作的序列。每条轨迹由评估中间步骤的过程奖励模型打分。

• 轨迹级奖励通过对轨迹的步骤级前缀累积或相乘过程奖励来构建。这会将多个步骤级信号合并为一条完整推理路径的单一分数。

• 数据构建包含由超参数 C 控制的过滤规则。该参数设定在作者认为某个状态能够导向正确推理过程之前所需的最少成功模拟次数。这会减少原始语言模型可能产生的幻觉性推理依据的影响。

• 所得奖励和偏好信号用于通过直接偏好优化而非 PPO 优化策略模型。

方法

作者将自然语言推理建模为带有动作-状态轨迹的马尔可夫决策过程。完整推理过程写为

$$\tau = \{s_0,a_0,\dots,s_t,a_t,\dots,s_T,a_T\},$$τ={s0​,a0​,…,st​,at​,…,sT​,aT​},

其中 $a_t$at​ 是步骤 $t$t 生成的动作，$s_{t+1}$st+1​ 是随后观察到的状态，$s_t$st​ 可被视为生成的推理前缀。在 LLM 设置中，动作和状态都由同一策略模型 $\pi_\theta$πθ​ 生成，所以

$$\left\{ \begin{array}{ll} & a_t \sim \pi_\theta(a \mid c_t), \\ & s_{t+1} \sim \pi_\theta(s \mid a_t,c_t), \end{array} \right.$${​at​∼πθ​(a∣ct​),st+1​∼πθ​(s∣at​,ct​),​

其中 $c_t=(s_0,a_0,\dots,s_t)$ct​=(s0​,a0​,…,st​) 是历史轨迹。策略通过最大化期望结果奖励进行优化。对于带有最终标签的任务，终止奖励定义为

$$r_f(\tau,y)= \begin{cases} 1, & \text{if } \tau \rightarrow y, \\ 0, & \text{otherwise}. \end{cases}$$rf​(τ,y)={1,0,​if τ→y,otherwise.​

相应的训练目标为

$$\max_\theta \mathbb{E}_{x,y\sim\mathcal{D},\tau'\sim\pi_\theta(\tau\mid x)} r_f(\tau',y),$$θmax​Ex,y∼D,τ′∼πθ​(τ∣x)​rf​(τ′,y),

其中 $x$x 表示提示和问题，$y$y 是真实答案，$\tau'$τ′ 是生成的推理轨迹。

为解决语言模型可能通过错误或不可靠的中间推理得到正确最终答案这一限制，作者引入离线模拟进行过程监督。他们不手动标注每个中间步骤，而是通过从该点探索到最终答案来估计中间推理状态的期望值。对于给定输入和中间推理前缀，他们分别从动作 $a_t$at​ 或状态 $s_t$st​ 采样 $K$K 个补全，完成每条轨迹，并统计已完成轨迹得到正确最终答案的频率。对于动作级前缀 $\tau_{t,a}$τt,a​，估计的过程价值形式化为

$$r_e(\tau_{t,a},y)=\sum_{k}^{K} r_f(\tau^{k|\tau_{t,a}},y),$$re​(τt,a​,y)=k∑K​rf​(τk∣τt,a​,y),

其中 $\tau^{k|\tau_{t,a}}$τk∣τt,a​ 表示从前缀 $\tau_{t,a}$τt,a​ 开始的第 $k$k 条已完成轨迹。其直觉是，频繁导致正确答案的中间状态或动作更可能包含有效推理、有用事实或决定性证据。

模拟得到的过程价值随后用于训练合成的过程奖励模型。其动机是直接依赖重复模拟会成本高昂且噪声较大，因为模拟补全的质量取决于底层策略模型。学习得到的过程奖励模型能够更高效且更鲁棒地逼近这些由模拟得到的价值。奖励建模数据集构建为

$$\mathcal{D}^{R}=\{x^{(i)},\{\tau_{j,a}^{(i)},r_j^{(i)}\}\},$$DR={x(i),{τj,a(i)​,rj(i)​}},

其中 $\tau_{j,a}^{(i)}$τj,a(i)​ 是样本 $i$i 的中间轨迹前缀，$r_j^{(i)}$rj(i)​ 是对应的模拟期望值。过程奖励模型 $f_{\mathrm{prm}}:\mathcal{X}\times\mathcal{T}\rightarrow\mathbb{R}^{K}$fprm​:X×T→RK 为每个未完成推理前缀分配奖励估计。它作为分类风格的回归问题进行训练，其中

$$\left\{ \begin{array}{ll} & \mathcal{L}_{\mathrm{step}}=-\log p_r, \\ & p=f_{\mathrm{prm}}(x,\tau), \end{array} \right.$${​Lstep​=−logpr​,p=fprm​(x,τ),​

其中 $p_r$pr​ 表示与估计奖励值相关联的目标概率。

在过程奖励模型训练完成后，通过对各步骤的中间奖励进行聚合来为完整推理轨迹打分。对于完整轨迹 $\tau=\langle s_0,a_0,\dots,s_T,a_T\rangle$τ=⟨s0​,a0​,…,sT​,aT​⟩，轨迹级奖励定义为

$$r_p(\tau)=\prod_{t}^{T}\prod_{*}^{\{a,s\}}\sum_{i\geq C}^{K} f_{\mathrm{prm}}(\tau_{t,*})_i,$$rp​(τ)=t∏T​∗∏{a,s}​i≥C∑K​fprm​(τt,∗​)i​,

其中 $\tau_{t,a}=\langle s_0,a_0,\dots,s_t,a_t\rangle$τt,a​=⟨s0​,a0​,…,st​,at​⟩ 且 $\tau_{t,s}=\langle s_0,a_0,\dots,s_t\rangle$τt,s​=⟨s0​,a0​,…,st​⟩。超参数 $C$C 控制将某个前缀视为可靠导向正确答案之前所需的最低模拟置信水平。该阈值有助于减少原始 LLM 产生的幻觉或脆弱中间推理的影响。

所得轨迹级奖励随后用于构建直接偏好优化的偏好数据。首先通过从策略模型采样多条轨迹，形成基于结果监督的基线偏好数据集。对于每个输入，得到正确答案的轨迹被配对为选择解 $\tau_w$τw​，预测错误的轨迹被配对为拒绝解 $\tau_l$τl​，由此得到

$$\mathcal{D}_{\mathrm{o}}=\{x^{(i)},\tau_w^{(i)},\tau_l^{(i)}\}.$$Do​={x(i),τw(i)​,τl(i)​}.

随后使用标准 DPO 损失优化策略

$$\begin{aligned} &\mathcal{L}_{\mathrm{DPO}}(\pi_\theta;\pi_{\mathrm{ref}};\mathcal{D}_{\mathrm{o}}) \\ &= -\mathbb{E}_{(x,\tau_w,\tau_l)\sim\mathcal{D}_{\mathrm{o}}} \bigg[ \log \sigma\bigg( \beta \log \frac{\pi_\theta(\tau_w\mid x)}{\pi_{\mathrm{ref}}(\tau_w\mid x)} - \beta \log \frac{\pi_\theta(\tau_l\mid x)}{\pi_{\mathrm{ref}}(\tau_l\mid x)} \bigg) \bigg], \end{aligned}$$​LDPO​(πθ​;πref​;Do​)=−E(x,τw​,τl​)∼Do​​[logσ(βlogπref​(τw​∣x)πθ​(τw​∣x)​−βlogπref​(τl​∣x)πθ​(τl​∣x)​)],​

其中 $\pi_{\mathrm{ref}}$πref​ 是参考策略，$\beta$β 控制类似 KL 散度的约束。

为纳入过程监督，作者进一步在两条轨迹都产生正确最终答案但推理质量不同的情况下构建偏好。如果一条正确轨迹的累积过程奖励比另一条高出超过边际 $\sigma$σ，则将其选为选择响应：

$$\mathcal{D}_{\mathrm{p}} = \{x^{(i)},\tau_a^{(i)},\tau_b^{(i)} \mid r_p(\tau_a^{(i)})-r_p(\tau_b^{(i)})>\sigma\}.$$Dp​={x(i),τa(i)​,τb(i)​∣rp​(τa(i)​)−rp​(τb(i)​)>σ}.

这里，$\tau_a$τa​ 和 $\tau_b$τb​ 都诱导正确回答 $y^{(i)}$y(i)，但 $\tau_a$τa​ 更受偏好，因为它的中间推理获得更强的过程级支持。最终优化使用合并后的偏好数据集

$$\mathcal{L}_{\mathrm{DPO}}(\pi_\theta;\pi_{\mathrm{ref}};\mathcal{D}_{\mathrm{o}}\cup\mathcal{D}_{\mathrm{p}}).$$LDPO​(πθ​;πref​;Do​∪Dp​).

这一设计使策略不仅从最终结果正确性中学习，还从更细粒度信号中学习中间推理步骤是否可靠、是否有信息量、是否更可能导向正确结论。

实验

实验在 ReClor 和 LogiQA-v2 上评测逻辑推理，在 GSM8K 和 MATH 上评测数学推理，并将 pDPO 与基础 LLM、监督微调、拒绝采样方法、DPO 和强化学习方法进行比较。总体来看，pDPO 在域内和域外逻辑推理上均稳定优于仅基于结果的 DPO，相比 PPO 和 GRPO 降低训练成本，并与更强的基座模型配合时增强数学推理能力。额外分析显示，pDPO 受益于稀疏结果标注，在 GPT-4 评估下生成更合理且简洁的推理依据，并产生更清晰、更少冗余的解答轨迹。这些结果表明，合成过程监督能够提升推理质量和数据效率，尽管性能仍然对基座模型能力和标注规模敏感。

基于结果的 DPO 相比 SFT 基线和其他非迭代基线有显著提升，在域内和域外逻辑推理上都取得增益。加入合成过程监督后，相比原始 DPO 进一步提升，并且可以超过 PPO，同时训练时间更少；GRPO 使用组相对奖励基线，相比 PPO 也有增益。DPO 是强基线，并在 LogiQA-v2 上超过拒绝采样基线。过程监督 DPO 同时提升基准性能和推理依据质量，产生更合理、简洁且逻辑一致的解释。基于 DPO 的方法以远低于 PPO 和 GRPO 的训练成本取得相当或更好的结果。

数学推理结果表明，过程奖励引导的 DPO 变体在 GSM8K 上使较小模型相对于更大的 Gemma-7B-Instruct 基线获得提升，其中 pDPO 通常最强。在 MATH 上，Gemma-2B 的增益更为有限，而 pDPO 与 DeepSeekMath-7B-Instruct 配合时相比 DPO 显示更明显优势。合成过程奖励可以让 2B Gemma 模型在 GSM8K 上超过 7B Gemma-Instruct 参考模型。pDPO 在 Gemma-2B 变体中取得最强 GSM8K 结果，并与 DeepSeekMath 配合时在 MATH 上相对 DPO 获得提升。MATH 数据集对基座模型质量更敏感，Gemma-2B 的提升有限。

实验通过将基于结果和过程监督的 DPO 变体与 SFT、拒绝采样、PPO、GRPO 和模型规模基线在 LogiQA-v2、GSM8K 和 MATH 等基准上进行比较，来评测逻辑推理和数学推理。结果表明，基于结果的 DPO 是强且低成本基线，加入合成过程监督会进一步提升推理性能和解释质量，常常以更低训练成本匹配或超过 PPO 和 GRPO。在数学任务上，过程奖励引导的 DPO 变体使较小模型在 GSM8K 上超过更大的参考模型，其中 pDPO 通常最强，尽管 MATH 上的提升对基座模型质量更敏感。