一句话总结

来自加州大学圣迭戈分校和佐治亚理工学院的研究者提出了 ACT3D，该方法通过轨迹监督微调和基于结果的强化学习，从单张第一人称视图学会思考并主动探索三维环境，且无需视角监督，在六个基准上达到 $53.2\%$53.2% 的平均准确率，将基础 Qwen 模型提升 $22.0\%$22.0%，并超越闭源模型 Gemini 3.6 Flash，同时输入帧数减少 $50--70\%$50−−70%。

核心贡献

• ACT3D 将三维场景表示视为交互式环境，使视觉语言模型能够从单图像观测出发，通过迭代导航、重新定向和获取新视角来回答视觉问题。
• 模型先通过轨迹监督微调进行训练，随后使用强化学习进行优化，奖励主要基于最终答案正确性，而无需对访问哪些视角或采取哪些探索动作提供直接监督。
• 在六个三维基准上，ACT3D 达到 53.2% 的平均准确率，将基础 Qwen 模型提升 22.0%，超越闭源模型 Gemini 3.6 Flash，并在少使用 50-70% 输入帧的情况下优于现有开源三维方法；分析显示该方法具有自适应、以问题为条件的探索能力，并在需要大量探索的问题上提升更大。

引言

大多数先前的三维视觉语言模型假设空间推理所需的视觉信息已经提供，例如完整的 RGB-D 扫描、多视图图像、视频、点云或网格。这限制了它们处理部分可观测设置的能力，因为模型必须判断缺少哪些证据以及如何获取这些证据。作者通过将三维推理定义为交互式视觉决策过程来弥补这一空白：场景仍然是外部环境，模型在回答前通过顺序导航和视角动作收集证据。其主要贡献是 Act3D，一个联合学习证据获取和推理的视觉语言模型，使用监督微调建立交互协议，并使用基于最终答案奖励的强化学习优化完整交互策略。

方法

作者训练一个视觉语言模型，在部分可观测条件下执行交互式三维推理。学习流程包含两个阶段：轨迹监督微调，用于建立基本的 reason-act-observe 交互策略；结果驱动的强化学习，仅使用最终答案奖励优化策略，而不监督中间视角或动作。

将推理建模为部分可观测决策过程

该任务被形式化为部分可观测马尔可夫决策过程。任务实例为

$$w=(\mathcal{M},q,y^\star)\sim \mathcal{D},$$w=(M,q,y⋆)∼D,

其中 $\mathcal{M}$M 是重建的三维场景，$q$q 是问题，$y^\star=g(\mathcal{M},q)$y⋆=g(M,q) 是真实答案。在第 $t$t 步，环境状态为

$$\mathbf{s}_t=(\mathcal{M},\mathbf{c}_t),$$st​=(M,ct​),

其中相机配置 $\mathbf{c}_t=(\mathbf{e}_t,\mathbf{f}_t)$ct​=(et​,ft​) 由相机位置 $\mathbf{e}_t\in\mathbb{R}^3$et​∈R3 和观察方向 $\mathbf{f}_t\in\mathbb{S}^2$ft​∈S2 组成。场景保持隐藏，策略观察到渲染的第一人称视图

$$o_t=\mathrm{Render}(\mathcal{M},\mathbf{c}_t).$$ot​=Render(M,ct​).

策略从相对动作空间中选择导航动作。导航动作为

$$a_t=(\xi_t,n_t)\in\mathcal{A}_{\mathrm{nav}}=\mathcal{U}\times\{1,\dots,8\},$$at​=(ξt​,nt​)∈Anav​=U×{1,…,8},

其中 $\xi_t$ξt​ 是运动原语，$n_t$nt​ 是整数倍率。运动原语集合 $\mathcal{U}$U 包含六种平移：前进、后退、左移、右移、上升、下降，以及四种旋转：左转、右转、向上转、向下转。每个原语具有单位步长 $\delta_{\xi_t}$δξt​​，产生的相机转换是确定性的：

$$(\mathbf{e}_{t+1},\mathbf{f}_{t+1})= \begin{cases} \left(\Pi_{\mathcal{B}}(\mathbf{e}_t+n_t\delta_{\xi_t}\mathbf{u}_t), \mathbf{f}_t\right), & \text{translation},\\ \left(\mathbf{e}_t, \mathrm{Rot}_{\mathbf{k}_t}(n_t\delta_{\xi_t})\mathbf{f}_t\right), & \text{rotation}. \end{cases}$$(et+1​,ft+1​)={(ΠB​(et​+nt​δξt​​ut​),ft​),(et​,Rotkt​​(nt​δξt​​)ft​),​translation,rotation.​

这里 $\Pi_{\mathcal{B}}$ΠB​ 将相机位置投影到扩大固定边距后的场景边界框上。作者采用这种相对参数化方法，因为它以相机为中心且尺度不变，而绝对参数化需要直接预测全局坐标。

动作集还包括终止回答动作

$$\bar{\mathcal{A}}=\mathcal{A}_{\mathrm{nav}}\cup\mathcal{A}_{\mathrm{stop}},$$Aˉ=Anav​∪Astop​,

其中 $\mathcal{A}_{\mathrm{stop}}=\{\mathrm{STOP}(y):y\in\mathcal{V}\}$Astop​={STOP(y):y∈V}。执行 $\mathrm{STOP}(y)$STOP(y) 会结束本回合，并返回 $y$y 作为预测答案。

策略以完整交互历史为条件

$$h_t=(q,o_0,z_0,a_0,\mathbf{c}_1,o_1,z_1,\dots,a_{t-1},\mathbf{c}_t,o_t,z_t),$$ht​=(q,o0​,z0​,a0​,c1​,o1​,z1​,…,at−1​,ct​,ot​,zt​),

其中 $z_t$zt​ 表示模型生成的中间推理。与在隐藏场景上维护显式信念状态不同，VLM 通过这段历史隐式编码已积累的证据。

优化目标为有限时域、无折扣的期望回报

$$\max_\theta J(\theta) = \mathbb{E}_{w\sim\mathcal{D}} \mathbb{E}_{\tau\sim\pi_\theta\otimes\mathcal{E}} \left[R(\tau)\right],$$θmax​J(θ)=Ew∼D​Eτ∼πθ​⊗E​[R(τ)],

其中 $\mathcal{E}$E 是确定性交互环境，$R(\tau)$R(τ) 是下面定义的结果奖励。策略质量通过答案准确率衡量

$$\mathrm{Acc}(\pi) = \Pr_{w\sim\mathcal{D},\tau\sim\pi\otimes\mathcal{E}} \left(y=y^\star\right).$$Acc(π)=w∼D,τ∼π⊗EPr​(y=y⋆).

轨迹监督的策略初始化

为了初始化交互能力，作者首先在整理好的 reason-act-observe 轨迹上进行监督微调。这些轨迹由一个大语言模型与同一环境交互生成。演示会被过滤，仅保留答案正确、交互有效、推理结构良好且可见场景证据充分的轨迹。

对于整理后的演示 $\tau^\star$τ⋆，监督目标为

$$\mathcal{L}_{\mathrm{SFT}}(\theta) = -\mathbb{E}_{\tau^\star\sim\mathcal{D}_{\mathrm{traj}}} \sum_{\ell\in\mathcal{I}(\tau^\star)} \log \pi_\theta(\tau^\star_\ell \mid \tau^\star_{<\ell}),$$LSFT​(θ)=−Eτ⋆∼Dtraj​​ℓ∈I(τ⋆)∑​logπθ​(τℓ⋆​∣τ<ℓ⋆​),

其中 $\mathcal{I}(\tau^\star)$I(τ⋆) 索引模型生成的 token。环境观测和 prompt tokens 会从损失中被屏蔽。这一阶段初始化交互协议和有用的行为先验，但不会规定单一探索策略。

结果驱动的强化学习

从监督初始化开始，作者通过强化学习优化完整交互策略。对于每个初始条件

$$x=(q,o_0),$$x=(q,o0​),

从当前策略和确定性环境中采样一组 $G$G 条 rollout。由于动作决定后续观测，同一初始条件下的不同 rollout 可能就同一问题获取到显著不同的证据。

对于最终答案为 $y$y 的 rollout $\tau$τ，可验证奖励为

$$R(\tau) = \lambda_{\mathrm{judge}}R_{\mathrm{judge}} + \lambda_{\mathrm{EM}}R_{\mathrm{EM}} + \lambda_{\mathrm{int}}R_{\mathrm{judge}}c(\tau) - \lambda_{\mathrm{fmt}}R_{\mathrm{fmt}}.$$R(τ)=λjudge​Rjudge​+λEM​REM​+λint​Rjudge​c(τ)−λfmt​Rfmt​.

前两项衡量答案正确性。$R_{\mathrm{judge}}\in\{0,1\}$Rjudge​∈{0,1} 是 LLM 评判器的判定，用来检查 $y$y 在语义上是否等价于真实答案 $y^\star$y⋆，而 $R_{\mathrm{EM}}\in\{0,1\}$REM​∈{0,1} 表示是否与标注答案完全匹配。仅当答案正确时，才计入交互奖励。奖励还包含一条 grounding 捷径：

$$c(\tau)= \begin{cases} N_{\max}, & R_{\mathrm{gnd}}=1,\\ \min\{n_{\mathrm{int}},N_{\max}\}, & \text{otherwise}. \end{cases}$$c(τ)={Nmax​,min{nint​,Nmax​},​Rgnd​=1,otherwise.​

其中 $n_{\mathrm{int}}$nint​ 是 rollout 中的交互次数，$R_{\mathrm{gnd}}\in\{0,1\}$Rgnd​∈{0,1} 表示标注的目标对象是否在某个渲染视图中可见。确实观察到所问对象的正确 rollout 会获得完整的交互奖励；而从未观察到该对象但仍正确的 rollout，仍会按每次交互累积奖励，直到相同上限。因此，奖励支付的是获取有用证据，而不是没有 grounding 的随意查看。最后一项 $R_{\mathrm{fmt}}\in\{0,1\}$Rfmt​∈{0,1} 惩罚缺少或空答案等格式错误输出。

策略通过群体相对策略优化进行优化。对于每个 rollout 组，奖励标准化为

$$\hat{A}_i = \frac{R(\tau_i)-\mathrm{mean}_j R(\tau_j)}{\mathrm{std}_j R(\tau_j)}.$$A^i​=stdj​R(τj​)R(τi​)−meanj​R(τj​)​.

相同的轨迹级优势会分配给 $\tau_i$τi​ 中所有模型生成的 token，而环境观测不参与优化。GRPO 目标为

$$\mathcal{J}_{\mathrm{GRPO}}(\theta) = \mathbb{E}_{w,\{\tau_i\}} \left[ \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|\mathcal{I}(\tau_i)|} \sum_{\ell\in\mathcal{I}(\tau_i)} \min \left( \frac{\pi_\theta(\tau_{i,\ell}\mid\tau_{i,<\ell})} {\pi_{\theta_{\mathrm{old}}}(\tau_{i,\ell}\mid\tau_{i,<\ell})} \hat{A}_i, \mathrm{clip} \left( \frac{\pi_\theta(\tau_{i,\ell}\mid\tau_{i,<\ell})} {\pi_{\theta_{\mathrm{old}}}(\tau_{i,\ell}\mid\tau_{i,<\ell})}, 1-\epsilon, 1+\epsilon \right) \hat{A}_i \right) \right] - \beta D_{\mathrm{KL}}(\pi_\theta \|\pi_{\mathrm{ref}}).$$JGRPO​(θ)=Ew,{τi​}​​G1​i=1∑G​∣I(τi​)∣1​ℓ∈I(τi​)∑​min(πθold​​(τi,ℓ​∣τi,<ℓ​)πθ​(τi,ℓ​∣τi,<ℓ​)​A^i​,clip(πθold​​(τi,ℓ​∣τi,<ℓ​)πθ​(τi,ℓ​∣τi,<ℓ​)​,1−ϵ,1+ϵ)A^i​)​−βDKL​(πθ​∥πref​).

由于推理和交互由同一个自回归策略生成，回合级奖励会在整个 rollout 中分配信用。这使得模型不仅能够学习如何对已获取的观测进行推理，还能学习一开始应当获取哪些观测。

实验

Act3D 使用 Qwen3.5-9B 作为基础模型进行评估，先进行 SFT 再进行 GRPO，并采用仅 ScanQA 数据训练和混合数据训练两种设置，在六个基准上以统一的交互协议与主动和被动基线进行比较。主要结果验证了监督初始化后的强化学习能够改善推理，并迁移到训练领域之外，其中混合数据训练提供了最强的整体性能。分析表明，强化学习重塑了探索行为，出现了自适应视角选择，且对需要更多视觉证据的问题提升最大。消融实验表明，单视图初始化、渲染观测、相对相机动作和监督热启动是有益的，而交互奖励主要鼓励更广泛的探索，能够在跨领域泛化上提供帮助，但不会一致提升准确率。

在混合数据上训练的 Act3D 在六个三维推理基准上取得了最高平均准确率，在相同交互协议下超越了评估过的开源被动方法和主动方法以及 Gemini 3.6 Flash 基线。它从单个初始视图出发，通过交互自主获取额外的视觉证据。监督初始化后的强化学习提高了整体准确率，在 ARKit 和 SPBench-MV 上提升尤其大，而仅在 ScanQA 上训练的强化学习也能将改进迁移到其他多个基准。混合数据 Act3D 优于所有比较的开源三维推理方法，并在相同交互协议下超过 Gemini 3.6 Flash。相较于监督初始化，强化学习提高了平均准确率，在 ARKit 和 SPBench-MV 上提升最大。仅在 ScanQA 上训练的强化学习还改善了 MP3D 和 SQA3D 等留出基准，说明其能力具有可迁移性。

在 ScanQA 上，初始视觉输入对准确率有显著影响。单个渲染视图与鸟瞰视图加四个渲染视图的效果相当，而鸟瞰视图加一个渲染视图效果较差。结果表明，更多的初始视图不一定会提升性能，这支持单视图初始化。单个渲染初始视图的准确率与鸟瞰视图加四个渲染视图相当。与其他配置相比，鸟瞰视图加一个渲染视图会降低准确率。更多的初始视觉上下文并不能保证更好的交互式推理性能。

实验在交互协议下评估了 Act3D 在六个三维推理基准上的表现，其中混合数据训练在开源方法和 Gemini 3.6 Flash 基线中取得了最高平均准确率，同时从单个初始视图出发。监督初始化后的强化学习提高了整体性能，尤其在 ARKit 和 SPBench-MV 上，而仅 ScanQA 的强化学习能够将提升迁移到 MP3D 和 SQA3D 等留出基准。关于初始视觉输入的消融实验表明，单个渲染视图与鸟瞰视图加四个渲染视图的效果相当，而仅向鸟瞰视图添加一个渲染视图会降低准确率，说明更多初始视图不一定会改善交互式推理。