一句话总结

LLM-as-a-Tutor 由 KAIST、Upstage、多伦多大学等机构的研究人员提出，是一个将 LLM 从评判者扩展为导师的框架，通过向非挑战性提示附加原子约束，实现策略感知的提示自适应，使难度随策略能力单调递增，产生自校准奖励，并在三个复杂指令遵循基准上优于先前方法。

核心贡献

• 论文指出，提示难度与策略能力之间的不匹配会抑制奖励方差，并将这种不匹配视为限制非可验证强化学习中配备评分标准的评判者的关键前提。
• 引入 LLM-as-a-Tutor，该框架通过成对比较检测非挑战性提示并附加原子约束，将单个 LLM 从评判者扩展为导师，使难度随策略单调递增，无需外部调度。
• 在三个复杂指令遵循基准上，该方法始终优于策略无感知基线以及先前适应评分标准或改写提示的策略自适应方法，确立了提示自适应作为非可验证强化学习中策略感知的补充维度。

引言

在大型语言模型的指令遵循强化学习中，通过用 LLM 评判者替代粗糙的标量奖励模型，根据实例特定的评分标准对回答进行评分，从而获得细粒度的判别信号，取得了进展。然而，这些配备评分标准的评判者仅在提示能引出质量各异的 rollout 时才有效；对于当前策略而言过于简单或过于困难的提示，无论评判者质量如何，都会导致奖励信号崩溃。现有流程从静态语料库中抽取训练提示，使得这类具有挑战性的提示的供应完全依赖偶然性，而先前的策略自适应方法要么退回到粗糙的标量奖励，要么使用缺乏所需粒度的通用、与提示无关的评分标准。作者引入了 LLM-as-a-Tutor，它重用评判 LLM 通过成对 rollout 比较检测非挑战性提示，然后用原子约束对其进行增强，创建一个自校准的课程，使提示适应当前策略的能力，并始终优于静态和先前的自适应基线。

方法

作者引入了一个框架，在非可验证指令遵循任务的强化学习过程中，动态调整训练提示以匹配策略不断发展的能力。其核心思想是，随着策略的改进，固定的提示语料库可能变得不具有判别性，导致 rollout 质量方差很小，从而学习信号微弱。为了解决这个问题，他们提出了 LLM-as-a-Tutor，它迭代地向当前策略已掌握的提示附加原子约束，从而使难度与策略的进步同步提升。

训练流程基于一个基于评分标准的奖励模型。对于每个提示 $x$x，基础评分标准 $R(x) = \{(r_k, w_k)\}_{k=1}^K$R(x)={(rk​,wk​)}k=1K​ 定义了 $K$K 个质量标准，非负权重之和为 1。LLM 评判者 $\mathcal{J}$J 针对每个标准独立地对回答 $y$y 评分，总奖励为加权和： $s(x, y) = \sum_{k=1}^{K} w_k \cdot \mathcal{J}(y \mid x, r_k).$s(x,y)=∑k=1K​wk​⋅J(y∣x,rk​). 策略优化遵循 Group Relative Policy Optimization (GRPO) 框架。对于给定提示，从旧策略 $\pi_{\theta_{\text{old}}}$πθold​​ 中采样 $G$G 个 rollout，通过最大化包含对冻结参考策略的 KL 惩罚的裁剪替代目标来更新策略 $\pi_\theta$πθ​。每个 rollout 的优势 $A^{(i)}$A(i) 以组相对方式计算： $A^{(i)} = \frac{s(x, y^{(i)}) - \mu(x)}{\sigma(x)},$A(i)=σ(x)s(x,y(i))−μ(x)​, 其中 $\mu(x)$μ(x) 和 $\sigma(x)$σ(x) 是组内 rollout 分数的均值和标准差。只有当 rollout 展现出足够的分数散布时，该优势才能提供有意义的学习信号。作者强调，判别性是提示-策略对的属性，而非提示本身的属性；当策略掌握了某个提示时，rollout 在质量上变得难以区分，优势也随之崩溃。

为了克服这一点，LLM-as-a-Tutor 在每个训练迭代开始时运行。它首先为每个提示生成基础评分标准 $R(x)$R(x)。然后，对于每个提示，它从当前策略中采样两个 rollout，并做出二元成对判断：这两个回答在质量上是否无法区分。这种成对比较利用了以下观察：LLM 在成对设置中比在逐点评分中更敏锐、更符合人类判断。如果 rollout 被认为无法区分，则该提示被宣布对当前策略不具有判别性。

当提示不具有判别性时，导师调用其第二个角色——约束生成器。它生成一个原子约束 $c$c，即原始提示未指定的维度上的一个单独要求，以及一个相应的评分标准 $R_c = \{(r_{c,j}, w_{c,j})\}_{j=1}^m$Rc​={(rc,j​,wc,j​)}j=1m​ 来评估对该约束的遵守情况。通过附加约束并合并评分标准，形成自适应提示和评分标准集： $\tilde{x} = x \oplus c, \quad \tilde{R}(x) = R(x) \cup R_c,$x~=x⊕c,R~(x)=R(x)∪Rc​, 权重重新归一化，总和为 1。具有判别性的提示保持不变。然后，奖励和 GRPO 更新与之前完全相同，但使用自适应后的 $(\tilde{x}, \tilde{R}(x))$(x~,R~(x))，使得自适应成为相对于基线的唯一修改点。

这种仅附加的设计确保了难度单调递增：任何满足 $\tilde{x}$x~ 的回答也必须满足 $x$x，因此自适应提示绝不会比原始提示更容易。此外，在 $\tilde{R}(x)$R~(x) 中保留原始评分标准 $R(x)$R(x) 使基础标准保持活跃，因此随着约束的累积，在 $R(x)$R(x) 本身上获得高分变得更加困难。导师在每个自适应间隔（例如，每个 epoch）被调用，允许在早期迭代中自适应的提示被重新访问，并随着策略的改进进一步升级。提示序列 $\{x^{(t)}\}${x(t)} 因此难度非递减，仅当当前策略使提示不具有判别性时才触发升级。这种动态的、策略驱动的课程实现了每个提示的难度递进，这是静态语料库无法提供的，有效地塑造了训练信号，使学生通过 RL 发现新能力，而无需导师提供目标回答。

实验

评估使用 Qwen3-1.7B 策略，以 Qwen3-8B 作为导师和评判者，在 WildChat 提示上进行训练，并在指令遵循基准上进行测试。实验表明，通过附加原子约束进行的策略自适应提示修改优于策略无感知基线和仅适应评分标准的方法，因为当提示对当前策略变得过于简单时，它恢复了判别性奖励信号。消融实验证实，仅针对不具有判别性的提示并累积添加约束至关重要，而分析显示导师的决策跟踪经验难度并随策略能力扩展。结果表明，通过导师的判别性判断塑造提示分布构成了一种有效的蒸馏形式，使策略能够改进到超越导师自身回答质量的程度。

LLM-as-a-Tutor 在指令遵循基准上取得了最高的平均分，并在六个指标中的五个上优于所有基线，表明提示级自适应比仅基于评分标准的方法提供了更丰富的训练信号。策略自适应评分标准优于策略无感知方法，但修改提示可以在即使精心适应的评分标准也无法区分的饱和任务中恢复方差。没有提示修改的蒸馏使性能下降到低于未训练策略的水平，表明简单的模仿是有害的。策略自适应评分标准优于静态评分标准和 WildChecklists，证实了使奖励信号适应当前策略能带来更好的指令遵循。LLM-as-a-Tutor 在六个指标中的五个上超越所有基线，提示自适应在评分标准无法区分 rollout 质量时重新引入了判别性方差。

基于策略自身 rollout 选择提示的自适应约束添加方法优于所有非自适应变体。对所有提示或随机子集应用约束效果较差，使用更大模型的判断来识别目标尽管修改了更多提示，但仍然表现不佳，表明当前策略的行为是关键信号。自适应方法取得了最高的平均分，超越了始终开启、随机和离策略选择策略。对每个提示或随机 28% 的提示添加约束都导致性能降低，表明不加区别的修改是有害的。使用 8B 模型的 rollout 选择提示（错误）修改了 47% 的提示，但仍不如自适应方法，表明仅靠难度是不够的，策略自身的行为很重要。

在所有评估基准上，附加新约束同时保留先前约束（Append）优于替换约束（Reset）和重写整个提示（Rewrite）。Append 在不偏离原始任务分布的情况下单调增加提示难度，从而在 FB、AdvIF 和 IB 上获得更高分数，并取得最高平均性能。Append 在所有三个基准（FB、AdvIF、IB）上获得最高分和最高平均分。Reset 和 Rewrite 均不如 Append，Rewrite 得分略高于 Reset，但仍低于 Append。Append 的单调难度增加和保留种子分布解释了其优越的结果，而 Reset 和 Rewrite 有可能降低难度或偏离任务。

向饱和提示添加单个原子约束重新引入了判别性奖励方差。在原始简单提示上，所有模型 rollout 都获得了满分，导致标准差为零，没有提供信息信号。在附加要求指出具体公司政策后，平均分下降，标准差增加，区分了遵守约束的回答和那些回避而不满足约束的回答。在添加约束之前，所有 rollout 都得 100 分，标准差为零，使得提示对训练无信息。添加约束后，明确引用政策名称的 rollout 得 100 分，而仅建议咨询主管的 rollout 得 60 分，显示出明显的质量差距。

评估将 LLM-as-a-Tutor（一种提示级自适应方法）与各种指令遵循基线进行比较，验证了基于策略自身 rollout 自适应提示并附加原子约束，能产生比静态评分标准或不加区别的修改更丰富的训练信号。自适应约束选择和通过附加实现的单调难度增加优于重置或重写提示等替代策略，并且该方法在即使精心适应的评分标准也失效的饱和任务中恢复了判别性方差。研究结果证实，策略的行为是有效自适应的关键信号，LLM-as-a-Tutor 通过将策略自适应评分标准与有针对性的提示修改相结合，实现了卓越的性能。