一句话总结

来自上海人工智能实验室、苏州大学、浙江大学和复旦大学的研究人员提出 Iterative Value Refinement（IVR），一种进化式框架。该框架结合 Value Exploration 与 Iterative Self-Refinement，通过缩小价值引导解码中的分布差距，生成更准确的价值函数，从而在文本摘要、多轮对话和指令遵循中实现高效对齐，同时无需重新训练基础模型。

核心贡献

• Iterative Value Refinement（IVR）通过在基础策略采样的固定轨迹之外训练价值函数，缩小价值引导解码中的分布差距。
• IVR 将 Value Exploration（价值探索）与 Iterative Self-Refinement（迭代自我精炼）相结合。Value Exploration 在整个输出空间中扩展价值函数的训练信号，Iterative Self-Refinement 则使用改进后的价值函数为后续迭代生成更高质量的数据。
• IVR 在文本摘要、多轮对话和指令遵循任务上提升了人类偏好对齐效果，同时避免完整模型重训练，并相对于 actor-critic 强化学习方法降低计算成本。

引言

人类反馈强化学习（RLHF）对于将大型语言模型与人类偏好和任务要求对齐至关重要，但传统方法（例如 Proximal Policy Optimization）可能昂贵且不稳定，因为它们会反复更新策略和价值函数。引导式解码是一种实用的替代方案，因为它可以在不重新训练基础模型的情况下引导生成过程。价值引导解码很有前景，因为它使用学习到的价值函数来选择能够带来更高奖励的部分输出。先前的价值引导方法受到限制，因为它们通常只在仅从基础策略采样的轨迹上训练价值函数，这会造成分布差距，使改进策略本应产生的更优序列难以被识别。作者提出 Iterative Value Refinement（IVR），一种自举式框架：该框架使用 Value Exploration 生成更广泛的训练信号，并使用 Iterative Self-Refinement 逐步改进价值函数，同时避免完整的策略重训练。

方法

该方法的核心是学习一个价值函数，使自回归解码朝着高奖励补全的方向推进，并逐步缩小训练所用数据与最优策略访问状态之间的分布差距。作者采用 token 级马尔可夫决策过程形式化：模型需要根据提示 $\mathbf{x}$x 和已生成前缀 $y_{\leq t}$y≤t​ 选择下一个 token，最终目标是生成具有较高奖励的完整响应 $\mathbf{y}$y。因此，最优解码策略可由每个前缀状态可达到的最大期望奖励来刻画。

核心困难在于最优价值函数不可直接获得。它表示从给定前缀继续以最优方式生成所获得的期望奖励：

$$\mathbf{V}^{*}(\mathbf{x}, y_{\leq t}) = \mathbb{E}_{\mathbf{y} \sim \pi^{*}(\cdot \mid \mathbf{x}, y_{\leq t})} \mathbf{R}(\mathbf{x}, \mathbf{y}).$$V∗(x,y≤t​)=Ey∼π∗(⋅∣x,y≤t​)​R(x,y).

由于 $\pi^{*}$π∗ 未知，现有方法通常使用固定基础策略 $\pi_{\text{base}}$πbase​ 近似所需轨迹。这会产生分布不匹配：价值函数主要训练于基础策略下典型的状态和续写，但价值引导解码必须评估可能只在更强、奖励对齐的策略下出现的状态。因此，学习到的价值函数可能在最影响解码时对齐的关键轨迹上校准不足。

为解决这一限制，框架引入 Iterative Value Refinement。该设计包含两个模块。第一个模块 Value Exploration 通过对每个提示采样多个候选响应来扩展训练信号，而不是依赖单次 rollout。第二个模块 Iterative Self-Refinement 使用改进后的价值函数，将未来的数据生成导向更高质量轨迹。两者共同形成闭环流程：价值函数改进采样数据，改进后的数据又进一步精炼价值函数。

在推理阶段，学习到的价值函数可以通过多种搜索策略引导解码。一种实用变体是价值引导 top-$k$k 采样。为所有可能出现的下一个 token 计算价值估计代价很高，因此系统只评估基础策略下 top-$k$k 集合中的 token。采样分布会根据估计值进行重新加权：

$$\pi(y_{t+1} \mid \mathbf{x}, y_{\leq t}) \propto \begin{cases} \pi_{\text{base}}(y_{t+1} \mid \mathbf{x}, y_{\leq t}) e^{\beta \mathbf{V}^{*}(\mathbf{x}, y_{\leq t+1})}, & y_{t+1} \in \text{top-}k, \\ \pi_{\text{base}}(y_{t+1} \mid \mathbf{x}, y_{\leq t}) e^{\beta \mathbf{V}^{*}(\mathbf{x}, y_{\leq t})}, & y_{t+1} \notin \text{top-}k. \end{cases}$$π(yt+1​∣x,y≤t​)∝{πbase​(yt+1​∣x,y≤t​)eβV∗(x,y≤t+1​),πbase​(yt+1​∣x,y≤t​)eβV∗(x,y≤t​),​yt+1​∈top-k,yt+1​∈/top-k.​

该方法在保留基础模型大部分语言建模行为的同时，将生成偏向更高价值的续写。在一些实现中，这种扰动可以施加在 block 层级，而不是逐个 token 施加，从而用更细粒度控制换取更快的推理速度。

更明确的解码策略是价值引导分块束搜索。在每个解码步骤，对于 $B$B 个活跃前缀候选中的每一个，系统采样 $B$B 个续写块。所有 $B^2$B2 条扩展序列根据价值估计进行排序：

$$V_{\theta}(\mathbf{x}, y_{\leq t} \oplus y_{t:t+b}),$$Vθ​(x,y≤t​⊕yt:t+b​),

并保留前 $B$B 条进入下一轮。生成结束后，返回价值得分最高的最终序列。该流程直接使用价值函数作为序列评估器，每一步都不需要对语言模型进行完整的 KL 正则化训练更新。

训练过程被组织为迭代精炼循环。在初始阶段，当前策略（通常为基础策略）为每个提示采样多个响应。随后，奖励模型 $\mathbf{R}$R 对完整响应进行评分。每个完整响应都为该轨迹上的所有前缀提供目标价值：

$$\tilde{\mathbf{V}}^{*}(\mathbf{x}, y_{\leq t}) = \mathbf{R}(\mathbf{x}, \mathbf{y}).$$V~∗(x,y≤t​)=R(x,y).

随后，参数化价值函数 $V_{\theta}(\mathbf{x}, y_{\leq t})$Vθ​(x,y≤t​) 使用 $L_2$L2​ 目标向这些目标值回归：

$$\ell^{*}(\mathbf{x}, \mathbf{y}; \theta) = \mathbb{E}_{\mathbf{x} \sim \mu} \left[ \frac{1}{2} \sum_{t \in [|\mathbf{y}|]} \left( V_{\theta}(\mathbf{x}, y_{\leq t}) - \mathbf{V}^{*}(\mathbf{x}, y_{\leq t}) \right)^2 \right].$$ℓ∗(x,y;θ)=Ex∼μ​​21​t∈[∣y∣]∑​(Vθ​(x,y≤t​)−V∗(x,y≤t​))2​.

这就是 Value Exploration 阶段。多轨迹采样使价值函数接触到更广泛的前缀和补全集合，从而得到比单次 rollout 训练更稳健的估计。

价值函数更新后，框架进入 Iterative Self-Refinement 阶段。该方法不再只从基础策略采样，而是构造一个价值引导策略：

$$\pi_{V_{\theta}}(y_{\leq t+1} \mid \mathbf{x}, y_{\leq t}) \propto \pi_{\text{ref}}(y_{\leq t+1} \mid \mathbf{x}, y_{\leq t}) e^{\beta V_{\theta}(\mathbf{x}, y_{\leq t+1})}.$$πVθ​​(y≤t+1​∣x,y≤t​)∝πref​(y≤t+1​∣x,y≤t​)eβVθ​(x,y≤t+1​).

从该策略中采样响应：

$$\hat{\mathbf{y}} \sim \pi_{V_{\theta}}(\cdot \mid \mathbf{x}).$$y^​∼πVθ​​(⋅∣x).

由于该策略已经受到当前价值函数影响，其轨迹更可能访问输出空间中的高奖励区域。每条采样轨迹再次由奖励模型评分，并使用所得目标值重新训练 $V_{\theta}$Vθ​：

$$\tilde{\mathbf{V}}^{*}(\mathbf{x}, \hat{y}_{\leq t}) = \mathbf{R}(\mathbf{x}, \hat{\mathbf{y}}),$$V~∗(x,y^​≤t​)=R(x,y^​), $$L^{*}(\theta) = \mathbb{E}_{\mathbf{x} \sim \mu} \left[ \frac{1}{2} \sum_{t \in [|\hat{\mathbf{y}}|]} \left( V_{\theta}(\mathbf{x}, \hat{y}_{\leq t}) - \tilde{\mathbf{V}}^{*}(\mathbf{x}, \hat{y}_{\leq t}) \right)^2 \right].$$L∗(θ)=Ex∼μ​​21​t∈[∣y^​∣]∑​(Vθ​(x,y^​≤t​)−V~∗(x,y^​≤t​))2​.

该流程可以重复进行。每次迭代都会产生更符合高奖励行为的数据，更新后的价值函数也能引导下一轮采样和解码。这一逐步推进的循环是方法的核心设计原则。

作者通过访问覆盖的概念解释该流程的收益。策略的访问度量描述在遵循该策略时，不同状态动作对被遇到的频率。对于离线或近似对齐，价值估计误差与训练数据覆盖最优策略访问状态的程度密切相关。如果训练数据只来自基础策略，重要的高奖励状态可能代表性不足，导致价值函数误判有前景的轨迹。

Value Exploration 通过多次随机 rollout 扩展数据收集分布的支撑来应对这一问题。Iterative Self-Refinement 通过将数据收集策略逐渐转向价值引导策略来应对这一问题，而价值引导策略的访问模式已经偏向更高奖励状态。因此，数据分布与最优策略访问分布之间的差距会逐步缩小，从而提高学习到的价值函数精度。

与常规在线 RLHF 相比，该框架不会持续使用新收集的偏好数据重新训练整个策略模型。它把学习过程集中在价值函数上，并将价值引导解码作为推理阶段对齐机制。这使得整体流程的计算目标更集中，因为语言模型本身不需要重复进行策略级优化。因此，最终系统依赖训练得到的价值函数来评估部分序列，依赖奖励模型构建训练目标，并依赖引导解码策略把学习到的价值估计转化为更好的响应。

实验

作者评估 IVR 在摘要、多轮对话和指令遵循上的表现，并将其与解码时对齐基线以及偏好调优方法进行比较，评价指标包括奖励与策略偏移的权衡、价值引导束搜索奖励，以及基于评审的胜率。在各种任务上，IVR 的一致对齐效果强于基线，并且在较大的策略偏移下保持稳定；消融实验显示，使用多条轨迹的价值探索和迭代精炼对性能很重要。进一步分析表明，学习到的价值函数可以跨模型规模迁移，并能增强对越狱攻击的安全性，具有广泛实用价值。

在多轮对话评估中，IVR 在所比较方法中相对于基础策略具有最高胜率。相对于基于训练的方法，IVR 还提升了计算效率；而仅依赖推理的方法通常所需 FLOPs 更少，但胜率更低。DPO 是最强的基线，但相比 IVR 使用多得多的估计 FLOPs。IVR 在所比较方法中获得最高的评审偏好胜率。IVR 相比 DPO 和 IPO 使用更少的估计 FLOPs，同时性能仍超过二者。DPO 具有一定竞争力，但计算量更高；IPO 落后于另一种基于训练的方法。

价值引导分块束搜索在所有测试模型规模上都提升了相对于基础策略的指令遵循表现。将基于 3B 模型训练的价值函数迁移到更小和更大的模型时，提升仍然显著，表明该方法具有跨规模的广泛适用性。价值引导搜索为 1B、3B 和 8B 模型带来一致提升。单个基于 3B 数据训练的价值函数可以有效迁移到其他模型规模。最大的相对提升出现在 8B 模型上。

应用价值引导分块束搜索可以提升已对齐和未对齐 Llama-3 模型针对越狱式有害提示的安全率。已对齐模型本身安全性能较强，而未对齐模型显示出更大的相对提升。在两种情况下，未对齐价值函数都比已对齐价值函数提供更强的安全收益。价值引导分块束搜索提升已经具有较强安全性的已对齐 Llama-3 模型的安全性。同样的方法为未对齐模型带来远为明显的安全提升。在这些安全性测试中，未对齐价值函数始终优于已对齐价值函数。

实验评估了迭代价值引导精炼相对于对话策略的表现、不同模型规模下的指令遵循表现，以及有害提示上的安全性。在多轮对话偏好任务中，IVR 取得最高胜率，同时相比 DPO 和 IPO 等强训练基线使用更少的估计 FLOPs。价值引导分块束搜索在 1B、3B 和 8B 模型上都持续提升指令遵循表现，并且基于 3B 模型训练的价值函数可以有效迁移到其他规模。同样的方法也提升已对齐和未对齐 Llama-3 模型的安全性，其中未对齐模型获得更大提升，而未对齐价值函数带来更强的安全收益。