一句话总结

浙江大学和阿里巴巴集团的研究人员提出了 Perceive-to-Reason (P2R)，将细粒度视觉推理解耦为显式的感知和推理阶段，并提出了 PRA-GRPO，一种角色感知强化学习策略，在最终答案监督下交替进行感知聚焦和推理聚焦的更新；与先前将这两个阶段融合的工作不同，P2R 基于 Qwen3-VL-Instruct 模型在 V-Star 和 HR-Bench 上取得了最优性能。

核心贡献

• P2R 是一个统一的框架，将细粒度视觉推理形式化为两阶段的 perceive-to-reason 过程，显式地将证据定位（Perceiver）与答案生成（Reasoner）分离。
• PRA-GRPO 是一种角色感知强化学习策略，通过交替进行感知聚焦和推理聚焦的更新，使训练与解耦的形式化相一致，仅使用最终答案监督，无需真实边界框标注。
• 基于 Qwen3-VL-Instruct 模型（2B、4B 和 8B 规模），P2R 取得了一致且显著的提升，其中 4B 版本在 V-Star 上达到 93.2%，在 HR-Bench-4K/8K 上达到 81.9%/80.5%，并且其优势不仅限于高分辨率基准，还扩展到更广泛的多模态推理任务。

引言

视觉语言模型（VLMs）目前在广泛的视觉理解任务上表现良好，但细粒度视觉推理，如阅读密集文本或理解精确的空间关系，仍然困难。一个诊断实验表明，感知能力差是一个主要瓶颈：仅仅提供 oracle 边界框就能将基线模型在 V-Star 上的准确率从 81.7% 提升到 90.6%，这说明许多失败源于无法定位正确的证据。先前的工作通过将区域探索与推理交织在一起，或依赖复杂的测试时搜索流程来解决这个问题，但这些方法要么将证据定位与答案生成过程纠缠在一起，要么将其外部化，使得“往哪里看”的决策难以直接优化。

作者提出了 Perceive-to-Reason (P2R)，一个显式地将细粒度视觉推理分解为两个阶段的框架：首先由 Perceiver 定位与问题相关的区域，然后由 Reasoner 利用标注图像和裁剪的证据生成答案。为了在仅有最终答案监督的情况下训练这种解耦设置，他们引入了 PRA-GRPO，一种强化学习策略，在固定另一个角色参数的同时，交替进行感知聚焦和推理聚焦的优化。这种角色感知的交替将单一的正确性信号转化为每个阶段更具归因性的训练信号，消除了对真实边界框的需求，并使模型能够更好地学习往哪里看以及如何推理。

方法

作者提出了 P2R，一个统一的框架，将细粒度视觉推理形式化为 perceive-to-reason 过程。它包含两个紧密耦合的组件：一个显式分离证据定位和答案生成的两阶段推理范式，以及 PRA-GRPO，一种使训练与该解耦形式化对齐的角色感知强化学习策略。

在推理阶段，模型将细粒度视觉推理组织为两个连续的阶段：感知和推理，使用一个具有共享参数 $\theta$θ 的底层 VLM。

如上图所示，第一阶段模型充当 Perceiver。给定图像-问题对 $(I, Q)$(I,Q)，Perceiver 对与问题最相关的视觉证据做出显式的定位决策。令 $\tilde{Q}_p = \mathcal{T}_p(Q)$Q~​p​=Tp​(Q) 表示面向感知的提示。Perceiver 预测一组边界框 $\mathcal{B} = \{B_k\}_{k=1}^K$B={Bk​}k=1K​ 为： $\mathcal{B} \sim \pi_p(\cdot \mid I, \tilde{Q}_p; \theta)$B∼πp​(⋅∣I,Q~​p​;θ) 其中每个 $B_k = (x_1, y_1, x_2, y_2)$Bk​=(x1​,y1​,x2​,y2​) 指定一个矩形区域。这些预测的框被转化为两种互补的视觉输入：标注图像 $I_a = \text{annotate}(I, \mathcal{B})$Ia​=annotate(I,B)，其中边界框被叠加在原始图像上，以及包含局部区域的裁剪证据图像 $I_c = \text{crop}(I, \mathcal{B})$Ic​=crop(I,B)。

在第二阶段，模型充当 Reasoner 以生成最终答案 $Y$Y： $Y \sim \pi_r(\cdot \mid I_a, I_c, Q; \theta)$Y∼πr​(⋅∣Ia​,Ic​,Q;θ) 这一形式化将细粒度视觉推理转化为一个显式结构化的过程，Perceiver 决定往哪里看，Reasoner 专注于如何从证据中推理。

训练这种解耦的形式化具有挑战性，因为最终预测同时依赖于两个阶段，且监督仅在最终答案级别可用。为此，作者提出了 PRA-GRPO，一种角色感知强化学习策略，使优化与 perceive-to-reason 结构对齐。

核心思想是通过交替进行感知聚焦和推理聚焦的更新，将最终答案的正确性转化为更具归因性的训练信号。PRA-GRPO 在优化 Perceiver 和 Reasoner 之间交替，同时保持另一个角色固定。

在感知阶段，预测证据的质量通过固定的 Reasoner 生成的答案来评估。给定图像-问题-答案三元组 $(I, Q, Y)$(I,Q,Y)，模型采样一组 $G$G 个边界框 rollout $\mathcal{B}_i \sim \pi_p(\cdot \mid I, \mathcal{T}_p(Q); \theta)$Bi​∼πp​(⋅∣I,Tp​(Q);θ)。基于 $\mathcal{B}_i$Bi​，构建标注图像 $I_a^i$Iai​ 和裁剪图像 $I_c^i$Ici​，并送入固定的 Reasoner 以获得最终答案 $Y_i$Yi​。

在推理阶段，答案生成在固定的 Perceiver 提供的证据条件下进行优化。输出 $o_i$oi​ 是一个答案 $Y_i \sim \pi_r(\cdot \mid I_a, I_c, Q; \theta)$Yi​∼πr​(⋅∣Ia​,Ic​,Q;θ)，其中 $(I_a, I_c)$(Ia​,Ic​) 由固定的 Perceiver 预测的边界框构建。

为了保持监督最小化和任务无关性，基于最终答案正确性定义一个二元奖励： $r_i = \mathbb{I}[Y_i = Y]$ri​=I[Yi​=Y] 组相对优势按照 GRPO 计算： $A_i = \frac{r_i - \text{mean}(\{r_j\}_{j=1}^G)}{\text{std}(\{r_j\}_{j=1}^G) + \epsilon}$Ai​=std({rj​}j=1G​)+ϵri​−mean({rj​}j=1G​)​ 活跃角色 $\phi \in \{p, r\}$ϕ∈{p,r} 使用标准的 GRPO 目标进行优化： $\mathcal{J}_{\text{GRPO}}^\phi(\theta) = \mathbb{E}_{x, \{o_i\}_{i=1}^G} \left[ \frac{1}{G} \sum_{i=1}^G \min\left(\rho_i A_i, \text{clip}(\rho_i, 1 \pm \varepsilon) A_i\right) - \beta \text{KL}[\pi_{\phi, \theta} \| \pi_{\text{ref}}] \right]$JGRPOϕ​(θ)=Ex,{oi​}i=1G​​[G1​∑i=1G​min(ρi​Ai​,clip(ρi​,1±ε)Ai​)−βKL[πϕ,θ​∥πref​]] 其中 $\rho_i = \frac{\pi_{\phi, \theta}(o_i \mid x)}{\pi_{\phi, \theta_{\text{old}}}(o_i \mid x)}$ρi​=πϕ,θold​​(oi​∣x)πϕ,θ​(oi​∣x)​。具体来说，在感知阶段 $x = (I, \mathcal{T}_p(Q))$x=(I,Tp​(Q)) 且 $o_i = \mathcal{B}_i$oi​=Bi​，而在推理阶段 $x = (I_a, I_c, Q)$x=(Ia​,Ic​,Q) 且 $o_i = Y_i$oi​=Yi​。这使得感知能够仅通过最终答案监督，从下游的推理结果中进行学习。

实验

评估设置将 P2R 与通用 VLM、视觉搜索和图像思维方法，在高分辨率细粒度基准（V-Star、HR-Bench）和更广泛的现实世界基准（MME-RealWorld-Lite）上进行比较。P2R 在所有规模上均持续提升 Qwen3-VL-Instruct 基线的表现，在感知和推理子任务上均有增益，尤其是在具有挑战性的高分辨率场景中。消融实验验证了 perceive-to-reason 推理分解是有益的，并且交替的角色感知训练先进行 Perceiver 阶段，通过使证据定位更准确来获得最佳性能。进一步分析表明在共享参数下存在跨角色知识迁移、推理 grounding 上的零样本增益，以及由感知和推理间的相互强化驱动的更快学习扩展。

P2R 模型在细粒度视觉推理基准上始终优于对应的 Qwen3-VL-Instruct 基线，2B、4B 和 8B 规模的平均增益分别为 8.1、11.0 和 9.7 个百分点。在高分辨率 HR-Bench-8K 上的提升最为显著，突显了 perceive-to-reason 形式化在严苛场景中的有效性。在开源模型中，P2R-8B 在三个评估基准上取得了最佳平均性能。P2R 变体在每个模型规模上都超越了 Qwen3-VL-Instruct，平均提升分别为 8.1（2B）、11.0（4B）和 9.7（8B）个百分点。增益在 HR-Bench-8K 上最大，表明 perceive-to-reason 方法对具有挑战性的高分辨率视觉推理尤其有益。P2R-8B 在 V-Star、HR-Bench-4K 和 HR-Bench-8K 上，在所有开源模型中取得了最高的平均性能。

在 MME-RealWorld-Lite 基准上，P2R 模型始终超越其 Qwen3-VL-Instruct 基线，2B、4B 和 8B 版本的整体增益分别为 4.0%、7.1% 和 7.0%。这些改进广泛分布在几乎所有感知和推理子任务中，表明 perceive-to-reason 框架不仅在高分辨率场景中受益，也能提升一般的多模态理解能力。P2R-8B 在所有比较方法中取得了最高的整体性能。P2R-2B、P2R-4B 和 P2R-8B 的整体准确率相比其对应的 Qwen3-VL-Instruct 基线分别提升了 4.0、7.1 和 7.0 个百分点。性能增益分布在几乎所有的感知和推理子类别中，而非集中在少数几个方面。P2R-8B 在所有列出的模型中取得了最佳总分，超越了先前的专门方法如 DeepEyes-7B。基线 Qwen3-VL-Instruct 模型的扩展性有限（从 2B 的 47.3 到 32B 的 52.3），而 P2R 的增强在每个规模上都带来了更大的相对跃升。

共享参数实现了跨角色迁移：一个仅作为 Perceiver 训练的检查点，在重用为 Reasoner 时能提升推理性能，反之亦然。将分别训练的 Perceiver 和 Reasoner 检查点组合使用，达到了 84.8% 的平均性能，但最终的交替训练方法达到了 85.2%，显示出更好的整合。该设计使用单一模型承担两种角色，简化了部署。将仅 Perceiver 的检查点同时用作 Perceiver 和 Reasoner，相比仅将其作为 Perceiver 与基线 Reasoner 配对，提升了平均性能，揭示出 Perceiver 训练能迁移至推理。将仅 Reasoner 的检查点应用于两个角色，优于将基线 Perceiver 与该 Reasoner 检查点配对，证实了 Reasoner 训练也能提升感知能力。在所有三个细粒度视觉推理基准 V-Star、HR-4K 和 HR-8K 上，当角色特定训练应用于互补角色时，均有增益。

在推理 grounding 基准 ReasonSeg 上，使用 PRA-GRPO 训练的 P2R-4B 模型在测试和验证分割上均超越了其基线模型，尽管它从未接收过 grounding 特定数据或边界框标注。结果表明，细粒度视觉推理训练可迁移至改进查询相关证据的定位。P2R-4B 的平均准确率比基线提高了 1.1 个百分点。验证分割上的提升（+1.8）大于测试分割上的提升（+0.5）。该模型完全依赖视觉推理数据的答案级别监督，没有使用 grounding 标注。

在细粒度视觉推理基准和 MME-RealWorld-Lite 套件上，P2R 模型在所有规模上始终超越其 Qwen3-VL-Instruct 基线，在高分辨率任务上增益最大，P2R-8B 取得了顶尖的开源性能。跨角色迁移的消融研究表明，一个联合训练以在 Perceiver 和 Reasoner 角色间交替的单一模型，比组合分别训练的检查点能实现更好的整合，且训练一个角色能将益处传递至另一个角色。此外，P2R 的细粒度推理训练在没有任何 grounding 特定监督的情况下，提升了在 ReasonSeg 上的 grounding 能力，突显了 perceive-to-reason 框架的广泛可迁移性。