一句话总结

浙江大学与阿里巴巴达摩院提出 VLA-Corrector，一种轻量级检测-校正推理框架。该框架通过潜空间视觉监视器（Latent-space Vision Monitor）在线检测视觉动态偏差，并通过在线梯度引导（Online Gradient Guidance）进行校正重新规划，从而增强动作分块式 VLA 策略，在不重新训练骨干策略的前提下实现事件触发的自适应动作步长，既能中断累积误差，又能保持动作分块的效率，大幅提升长时序、接触密集型机器人操作任务的鲁棒性。

核心贡献

• 本研究量化了动作分块式 VLA 策略中固定动作步长所带来的性能-效率权衡，表明开环盲区会一致性地削弱不同 VLA 骨干的鲁棒性。
• 提出 VLA-Corrector，一种轻量级推理时框架，集成了用于在线漂移检测的潜空间视觉监视器、失效动作的事件触发截断机制，以及在不改变 VLA 骨干前提下引导校正重新规划的在线梯度引导。
• 仿真和真实实验表明，在 π₀.₅ 且动作步长为 50 的设置下，VLA-Corrector 将成功率从 48.7% 提升至 58.7%，同时略微减少策略调用次数，实现每次调用的成功率效率提升 +24.6%；此外，VLA-Corrector 使少样本微调模型在 LIBERO 上的平均成功率达到 97.8%，超过全量微调基线。

引言

作者考察了面向机器人控制的视觉-语言-动作（VLA）基础模型，这类模型通常依赖动作分块来分摊生成式动作策略的高延迟。这种分块带来了一个开环盲区，机器人在该区域内执行固定数量的预测动作而不响应新的观测，因而容易受到累积误差的影响并导致任务失败。作者提出 VLA-Corrector，这是一个轻量级推理时模块，持续监控潜空间视觉动态以检测执行漂移，提前截断失效的动作块，然后通过梯度引导的重新推理将机器人引导回预定轨迹。该方法将固定动作步长转变为自适应步长，在保持长分块效率的同时恢复短步长的反应能力，而无需重新训练底层的 VLA 模型。

方法

VLA-Corrector 瞄准的主要局限是动作分块式 VLA 策略固有的开环盲区。在这类策略中，视觉编码器将观测 $o_t$ot​ 处理为潜变量 $Z_t^{\mathrm{real}}$Ztreal​，策略输出包含多个未来动作的动作块 $A_t$At​。在动作步长期间，控制器执行前 $H$H 个动作而不重新查询策略，即使有新的视觉观测到来。这就创建了一个窗口，在此窗口内执行的动作可能偏离预定轨迹却没有纠错机制。

VLA-Corrector 通过将动作生成与执行监控解耦来解决这一问题。其核心思想是保持 VLA 骨干用于动作块生成，同时增加一个轻量级的外部动态校正器，在线监控视觉一致性，并仅在检测到持续漂移时才触发校正重新规划。该框架包含四个紧密集成的模块：（1）训练一个外部潜空间动态校正器，（2）用于在线异常检测的潜空间视觉监视器（LVM），（3）事件触发截断，以及（4）用于校正推理的在线梯度引导（OGG）。

外部潜空间动态校正器 $M_\phi$Mϕ​ 在 VLA 策略微调并冻结后进行训练。利用 VLA 的视觉编码器，作者从演示轨迹中提取潜空间表示。对于一次转移 $(o_t, a_t, o_{t+k})$(ot​,at​,ot+k​)，计算真实的短步长视觉潜空间演变：

$$\Delta Z_{t+k}^{*} = Z_{t+k}^{\mathrm{real}} - Z_t^{\mathrm{real}},$$ΔZt+k∗​=Zt+kreal​−Ztreal​,

并训练一个轻量级 MLP $M_\phi$Mϕ​，从当前潜状态和执行的动作出发预测该残差：

$$\Delta \hat{Z}_{t+k} = M_\phi(Z_t^{\mathrm{real}}, a_t).$$ΔZ^t+k​=Mϕ​(Ztreal​,at​).

训练目标同时鼓励幅度匹配和方向一致性：

$$\mathcal{L}_{\mathrm{corr}} = \big\| \Delta \hat{Z}_{t+k} - \Delta Z_{t+k}^{*} \big\|_2^2 + \beta \big[1 - \operatorname{CosSim}(\Delta \hat{Z}_{t+k}, \Delta Z_{t+k}^{*})\big].$$Lcorr​=​ΔZ^t+k​−ΔZt+k∗​​22​+β[1−CosSim(ΔZ^t+k​,ΔZt+k∗​)].

预测残差而非绝对潜变量可以抑制静态场景内容，迫使模型聚焦于任务相关动态。校正器是一个小模块（在作者的实验中约有 40M 参数），仅用演示数据训练，因此训练成本低廉，且可在不同基准上复用，无需触碰昂贵的 VLA 骨干。

在部署过程中，潜空间视觉监视器（LVM）利用训练好的校正器来检测在线偏差。在控制步 $t$t，LVM 使用已执行的动作 $a_t$at​ 和当前潜状态计算预期的潜空间演变 $\Delta Z_{t+k}^{\exp} = M_\phi(Z_t^{\mathrm{real}}, a_t)$ΔZt+kexp​=Mϕ​(Ztreal​,at​)，然后将其与从新摄像头观测获得的实际潜空间演变 $\Delta Z_{t+k}^{\mathrm{real}} = Z_{t+k}^{\mathrm{real}} - Z_t^{\mathrm{real}}$ΔZt+kreal​=Zt+kreal​−Ztreal​ 进行比较，得到不一致性分数：

$$E_t = 1 - \operatorname{CosSim}\big(\Delta Z_{t+k}^{\exp}, \Delta Z_{t+k}^{\mathrm{real}}\big).$$Et​=1−CosSim(ΔZt+kexp​,ΔZt+kreal​).

较高的 $E_t$Et​ 表示预期与观测视觉动态之间存在较强的不匹配，由此构成连续监控信号。

作者没有直接对 $E_t$Et​ 设置阈值（这会对瞬时离群值敏感），而是采用一种鲁棒的事件触发截断规则。维护一个近期分数滑动窗口 $\mathbf{E}_W$EW​，计算其中位数 $M_e$Me​ 和中位数绝对偏差 $\mathrm{MAD}$MAD，并定义两个自适应阈值：

$$T_{\mathrm{on}} = M_e + \lambda_{\mathrm{on}}\mathrm{MAD},\quad T_{\mathrm{off}} = M_e + \lambda_{\mathrm{off}}\mathrm{MAD},\quad \lambda_{\mathrm{on}} > \lambda_{\mathrm{off}}.$$Ton​=Me​+λon​MAD,Toff​=Me​+λoff​MAD,λon​>λoff​.

仅当 $E_t > T_{\mathrm{on}}$Et​>Ton​ 持续 $p$p 个连续步时，才触发中断，从而有效滤除孤立尖峰，仅对持续漂移做出响应。一旦触发，系统丢弃当前队列中的剩余动作并启动校正重新规划。有效动作步长变为 $H_{\mathrm{adaptive}} = h < H$Hadaptive​=h<H，其中 $h$h 是已执行的步数，由此仅在动作块确实过时后才缩短固定步长。

截断后的校正重新规划由在线梯度引导（OGG）执行，且仅应用于紧接中断后的那次策略调用。OGG 将流匹配去噪过程引导至一个可补偿累积漂移的潜方向。在去噪步 $\tau$τ，从含噪块中估计出候选干净动作 $\hat{a}_t$a^t​，其预测的潜效果为 $\Delta \hat{Z}_{\mathrm{act}} = M_\phi(Z_t^{\mathrm{real}}, \hat{a}_t)$ΔZ^act​=Mϕ​(Ztreal​,a^t​)。校正目标 $\Delta Z_{\mathrm{corr}}$ΔZcorr​ 定义为上一稳定步 $t-k$t−k 的预期残差与累积偏差 $\Delta Z_{\mathrm{dev}} = Z_t^{\mathrm{real}} - Z_{t-k}^{\mathrm{real}}$ΔZdev​=Ztreal​−Zt−kreal​ 之间的差值：

$$\Delta Z_{\mathrm{corr}} = \Delta Z_{\exp} - \Delta Z_{\mathrm{dev}}.$$ΔZcorr​=ΔZexp​−ΔZdev​.

引导损失度量预测动作效果与校正目标之间的方向性失配：

$$\mathcal{L}_{\mathrm{OGG}} = 1 - \operatorname{CosSim}(\Delta \hat{Z}_{\mathrm{act}}, \Delta Z_{\mathrm{corr}}).$$LOGG​=1−CosSim(ΔZ^act​,ΔZcorr​).

该损失的梯度被注入流匹配速度场：

$$v_\tau^{\text{guide}} = v_\tau - \eta \nabla_{v_\tau} \mathcal{L}_{\mathrm{OGG}},\quad A^{\tau - \Delta\tau} = A^\tau - \Delta\tau \, v_\tau^{\text{guide}}.$$vτguide​=vτ​−η∇vτ​​LOGG​,Aτ−Δτ=Aτ−Δτvτguide​.

由于 OGG 调整的是速度场而非直接操纵动作坐标，校正重新规划能够平滑地集成到原始的流匹配生成过程中。

总体而言，VLA-Corrector 形成一个轻量级、模块化的校正推理系统，与冻结的 VLA 策略并列运行。它在线监控潜空间动态，自适应地截断不可靠的动作块，并将恢复性重新规划引导至一致性轨迹，而无需重新训练主策略。

实验

VLA-Corrector 在三个仿真基准和一个真实机器人上的评估，使用了多种 VLA 骨干，验证了其跨架构鲁棒性、样本与数据效率、工作机制以及向真实世界的迁移能力。该方法通过提前中断失效的动作块并引导校正重新规划，始终提升成功率和策略调用效率，在困难任务和在线干扰下增益最大。机理研究证实，检测信号能够隔离关键的高错误阶段，而恢复模块增强了截断后的重新规划；消融实验表明，解耦监控与适中的数据与模型规模即已足够。

在 MetaWorld 上，VLA-Corrector 持续提升所有三种 VLA 骨干的成功率，且在更高难度划分上的增益更大。π₀.₅ 的平均提升最大，达 15.65 个百分点，其中“极难”划分贡献了 24 个百分点的跃升。SmolVLA 和 X-VLA 同样受益，分别获得 4.75 和 4.05 个百分点的平均提升。VLA-Corrector 对所有骨干均有增益，并在更困难任务上取得最大绝对提升，例如 π₀.₅ 的“极难”划分成功率从 41.0% 升至 65.0%，涨幅达 24 个百分点。平均提升幅度从 π₀.₅ 的 15.65 个百分点到 X-VLA 的 4.05 个百分点，显示出收益随骨干基线表现而放大的特点。

在 LIBERO 基准上，将 VLA-Corrector 附加到少样本微调策略上，使平均成功率从 94.00% 提升至 97.80%，超过全量微调基线 96.95%。长步长任务和空间任务的提升最为显著，表明校正器通过从执行漂移中恢复的能力，弥补了有限任务特定数据的不足。VLA-Corrector 将少样本策略提升至超过全量微调模型，达到 97.80% 的平均成功率。长步长任务成功率从 86.6% 跃升至 93.4%，是任务类别中绝对增益最大的一项。空间任务在校正后达到完美的 100.0% 成功率，此前为 95.4%。

用更多演示数据训练校正器能够稳步提高平均成功率，超越开环基线。使用完整训练划分（验证集部分除外）时增益最大，而仅使用 60% 的数据已能带来大部分收益；极低数据量（20%）时则略低于基线。仅用 20% 训练划分时，校正器平均成功率为 48.32%，略低于基线的 48.72%。使用完整训练划分（r=1.0）时，平均成功率提升至 54.32%，增幅 5.60 个百分点，收益主要集中在中、高难度任务上。

在所有骨干和所有动作步长下，VLA-Corrector 在提高任务成功率的同时，通常还能减少每回合的平均策略调用次数。在 SmolVLA 最短步长设置下出现最大的效率增益，而即使在调用次数略微上升的少数情况下，改进依然为正。SmolVLA 在 10 步步长下，成功率提升 11.1 个百分点，调用次数减少 3.63，相对成功/调用效率提升 45.3%。在 π₀.₅ 步长 40 的设置下，调用次数略微增加，但该方法仍因成功率提高 6.35 个百分点而取得 10.2% 的效率增益。

触发校正重新推理的截断集中在任务的关键阶段，此时精准动作最为重要。超过五分之四的截断发生在这些阶段，其发生率是非关键阶段的五倍以上，表明中断机制对何时丢弃失效动作具有选择性。超过 80% 的截断发生在任务关键阶段，其发生频率是非关键阶段的 5.1 倍。

VLA-Corrector 在 MetaWorld 和 LIBERO 基准上的评估涵盖了多种 VLA 骨干、少样本与全量微调策略、不同训练数据规模以及不同的动作步长。它始终提高任务成功率，在更高难度划分和长步长任务上增益最大，并能将少样本策略提升至超过全量微调基线。校正机制还通过减少每回合的策略调用次数来提升效率，且其截断操作选择性地发生在亟需精准动作的任务关键阶段。