一句话总结

来自香港大学、字节跳动 Seed 和北京大学的研究人员提出了 SpectraReward，一种无需训练的奖励模型，利用预训练的 MLLM 来测量从生成图像中恢复原始提示的平均图像条件提示对数似然，并引入了 Self-SpectraReward，一个自改进的闭环 RL 框架，其中策略自身的理解分支作为其生成分支的奖励模型，性能优于先前的 MLLM 衍生奖励方法。

核心贡献

• SpectraReward 是一种无需训练的奖励函数，它利用预训练 MLLM 的平均图像条件提示对数似然作为图像生成 RL 的奖励信号，无需偏好标签或微调。
• Self-SpectraReward 为统一多模态模型构建了一个闭环自改进框架，其中模型的理解分支作为其生成分支的奖励模型，消除了外部奖励模型。
• 在两个生成器骨干网络、三种 RL 算法、九个 MLLM 骨干网络和五个基准上的大量实验表明，SpectraReward 和 Self-SpectraReward 持续改善生成效果并优于先前方法，分析揭示奖励-策略对齐是关键，因为 Self-SpectraReward 达到或超越了更大的外部模型。

引言

图像生成已从专用文本到图像模型转向同时处理视觉理解和生成的统一多模态模型（UMMs），而强化学习（RL）已成为提升组合保真度和指令遵循能力的关键后训练步骤。然而，现有奖励模型要么需要昂贵的人类偏好标注和微调，要么依赖预训练多模态大语言模型（MLLMs）作为零样本评判器，其标量输出可能带有噪声，且问题分解流水线增加了工程复杂性。作者提出了 SpectraReward，一种无需训练的奖励函数，通过计算图像条件提示-token 似然作为标量奖励，重新利用任何冻结的 MLLM，从而消除了对偏好标签、微调或显式评判的需求。他们进一步为 UMMs 引入了 Self-SpectraReward，其中策略自身的理解分支提供奖励信号，构建了一个闭环自改进框架。在多个生成器、RL 算法和 MLLM 骨干网络上的大量实验显示出一致的收益，并揭示出良好对齐的自奖励可以匹敌甚至超越大得多的外部奖励模型。

方法

作者提出了 SpectraReward，一种奖励函数，旨在从冻结的预训练多模态大语言模型（MLLM）$\mathcal{M}$M 中提取标量奖励 $R_{\mathcal{M}}(x, y)$RM​(x,y)。该奖励衡量生成的图像 $y \sim G_{\theta}(\cdot \mid x)$y∼Gθ​(⋅∣x) 在多大程度上实现了文本提示 $x = (x_1, \dots, x_T)$x=(x1​,…,xT​)，而无需偏好标签或奖励模型微调。核心思想是通过提出一个逆向问题来评估生成图像：从 $\mathcal{M}$M 的角度看，图像 $y$y 能在多大程度上被翻译回提示 $x$x？为计算此值，将图像 $y$y 作为视觉条件输入 $\mathcal{M}$M，然后对提示 token 进行一次教师强制前向传递。最终奖励函数定义为平均图像条件提示对数似然：

$R_{\mathcal{M}}(x, y) = \frac{1}{T - 1} \sum_{t = 1}^{T - 1} \log p_{\mathcal{M}}(x_{t + 1} \mid x_{\leq t}, y).$RM​(x,y)=T−11​∑t=1T−1​logpM​(xt+1​∣x≤t​,y).

该方法聚合了逐 token 似然，这些似然形成了一个语义谱，描述了 $y$y 中的视觉证据如何支持 $x$x 的语义。如下图所示，SpectraReward 通过单次前向传递计算图像条件提示似然，提供了密集的似然信号，避免了标量评分或 VQA 分解的训练瓶颈。

为了将其专门用于统一多模态模型，作者提出了 Self-SpectraReward。在这个闭环自改进框架中，模型使用自身的理解分支来衡量在其生成图像下原始提示的可能性。这种设计将两个双重能力耦合在同一个统一模型中：生成分支将文本映射为图像，而奖励函数则使用理解分支评估反向翻译。由于两个分支共享相同的 tokenizer、视觉编码器和预训练分布，奖励信号与策略自身的生成知识高度兼容，从而确保了强大的奖励-策略对齐，无需外部奖励模型。

作者进一步分析了奖励信号的判别特性。关于语言先验消除，虽然奖励包含 MLLM 的语言先验，但这种仅文本的似然对于固定提示的所有生成图像是共享的。因此，在强化学习中计算组相对优势时会相互抵消，使得在提示组内进行逐点互信息归一化变得不必要。

为了检验 token 级别的语义敏感性，作者针对属性错误和物体身份不匹配等常见失败情况评估了正负图像对。如下图所示，似然下降高度集中在不匹配的语义词上。例如，计数错误显著降低了单词“Two”的似然，而用椅子替换吉他则大幅降低了“guitar”的似然。正样本图像的序列级奖励仍然更高，证实了语义谱能够可靠地捕捉目标视觉错误。

最后，关于奖励排序的可靠性，该方法能有效地对同一提示的不同采样结果进行排序。如下图所示，SpectraReward 为更好地满足提示的图像分配更高的奖励，为缺失物体、属性错误或空间关系不正确的图像分配更低的奖励，为文本到图像强化学习提供了稳健的组内排序信号。

实验

SpectraReward 使用 MLLM 的图像条件描述似然作为奖励，在多种基准和模型上持续改进文本到图像生成，优于先前的分解验证方法。Self-SpectraReward 利用策略模型自身的理解分支，达到了可与大得多的外部奖励模型相媲美的性能，表明奖励-策略分布对齐比规模本身更为关键。消融实验表明，基于似然的奖励比标量评分或基于 VQA 的信号更有效，中等规模的预训练 MLLM 已足够，且 AWM 是该设置下的最优 RL 算法。

SpectraReward 及其自奖励变体在所有评估的文本到图像基准上均持续优于 BAGEL 基线和 AlphaGRPO。这些收益从 512 分辨率迁移到 1024 分辨率，Self-SpectraReward 取得了领先的 GenEval 和 GenEval2 分数，并在基于知识的 WISE 基准上取得了强劲结果。这表明图像条件提示似然提供了比分解验证更有效的 RL 监督信号。SpectraReward 在 TIIF-Bench 总分上大幅超越 BAGEL，且在短提示上提升更大。Self-SpectraReward 在 SpectraReward 的 TIIF-Bench 改进基础上进一步提升了 GenEval 得分。与 AlphaGRPO 相比，两种 SpectraReward 变体均带来了持续的 TIIF-Bench 和 GenEval 改进。Self-SpectraReward 将 512 分辨率训练的收益迁移到 1024 分辨率推理，取得了最佳的 GenEval 和 GenEval2 结果。Self-SpectraReward 的 WISE 分数显著高于先前方法，展示了更强的知识驱动生成能力。

SpectraReward 在不同的基础模型和奖励 MLLM 骨干网络上持续改善图像生成指标，在 GenEval 和 TIIF-Bench 上均有提升。使用策略自身的理解分支作为奖励模型（Self-SpectraReward）可匹敌或超越大得多的外部 MLLM，表明奖励-策略对齐可能比规模更重要。约 30B 参数的中等规模模型已足够，且预训练阶段的检查点在此奖励函数上可能优于指令微调版本。Gemma3-12B-Pretrain 在所有测试的奖励 MLLM 中取得了最高的 GenEval 分数（88.7），在三个基准上均优于其指令微调版本。将 Qwen3-VL 从 8B 扩展到 30B 改善了所有指标，但进一步扩展到 235B 导致性能明显下降，表明更大的 MLLM 并不总是带来更好的奖励。

在使用 Self-SpectraReward 训练时，AWM 算法在 RL 方法中取得了最佳下游性能，优于 FlowGRPO 和 DiffusionNFT。在使用相同 RL 算法时，Self-SpectraReward 也超越了早期的奖励模型，证明了其在图像生成强化学习中的有效性。结合 Self-SpectraReward 的 AWM 产生了最高的 GenEval 和 TIIF-Bench 分数，确立了其作为该比较中最优 RL 算法的地位。在相同的 RL 训练设置下，Self-SpectraReward 持续优于 HPSv3、UnifiedReward、VIEScore 和 DVReward 等先前的奖励模型。在 AlphaGRPO 测试的奖励模型中，DVReward 在 GenEval 上领先（85.0），而 VIEScore 落后至 81.7，差距达 3.3 分。使用 Self-SpectraReward 的 FlowGRPO 相比基线提升了 1.3 个 GenEval 点和 6.9 个 TIIF-Short 点，但结合 DVReward 的 AWM 带来了更大的提升。

奖励函数对图像生成的强化学习有强烈影响。简单的标量评分会降低所有基准的性能，而基于 VQA 的是/否概率仅在一个指标上带来微小提升，对另一指标无改善。SpectraReward 使用的图像条件提示似然持续取得最高分数，表明基于似然的奖励更有效。标量评分（1-5 评级）导致性能大幅下降，包括 GenEval 上相比基线下降 6.3 点。VQA-Score（是/否概率）在 TIIF-S 上提供小幅提升，但未改善 GenEval。提示似然奖励在所有指标上取得最佳结果，优于标量和基于 VQA 的替代方案。

序列级优势在 GenEval 和 TIIF-S 上优于 token 级优势，而 token 级优势在 TIIF-L 上带来微弱提升。所有 token 级归一化策略均未持续超越序列级基线，且逐 token 标准差显著降低了 TIIF-L。序列级奖励因其稳定性和整体性能而更受青睐。序列级优势在所有奖励粒度变体中取得了最高的 GenEval（89.5）和 TIIF-S（85.1）分数。使用逐 token 标准差的 token 级优势将 TIIF-L 降至 82.1，为所有配置中最低。

实验系统地评估了文本到图像强化学习的奖励函数设计、奖励模型骨干网络、RL 算法和优势粒度。图像条件提示似然持续优于标量评分和基于 VQA 的分数，而使用策略自身理解分支的自奖励可匹敌或超越更大的外部模型，表明奖励-策略对齐比规模更重要。序列级优势提供了稳定且有效的整体结果，而结合 Self-SpectraReward 的 AWM 算法在 GenEval、TIIF-Bench 和 WISE 基准上取得了最佳性能，包括从 512 到 1024 分辨率的稳健迁移。