一句话总结

来自 MirroS、清华大学和北京大学的研究人员发现了 S-Space，即多模态语言模型中的一种内在线性表示子空间，其中对象 token 激活编码连续的水平、垂直和距离坐标；他们通过激活梯度证明，该子空间可作为内部空间工作区和诊断工具，揭示模型能够形成较强的空间表示，但在视角变换方面存在困难。

核心贡献

• 本文识别并刻画了 S-Space，它是多模态语言模型中间表示的一个三维线性子空间，充当内部空间工作区，解释了空间信息如何被编码、更新并以因果方式使用。
• 引入了一种基于梯度的读出方法，用于恢复固定的左右、上下和远近轴，从而实现准确的连续坐标读出；这些读出能够跨数据集、任务和提示泛化，并在非空间问题下仍然可读。
• S-Space 被确立为空间推理失败的诊断工具：因果干预会改变空间判断，同时基本保留非空间响应；感知-计算分解显示，模型能够形成较强的空间表示，但在可靠的视角推理所需的空间变换上存在困难。

引言

多模态大语言模型越来越多地被用于重建、规划、导航和操作等空间智能任务，但稳健的空间推理仍然是一个主要弱点。仅凭端到端准确率难以揭示这些失败发生在何处，而先前关于空间编码和表示偏差的研究也未能统一解释空间信息如何在内部被编码、变换和使用。作者发现了 S-Space，这是一个中间表示中的三维线性子空间，充当内部空间工作区，具有左右、上下和远近方向的固定轴。他们表明，该子空间支持可泛化的坐标读出，能够以因果方式影响空间判断，并可通过将空间感知与下游推理失败分离开来用作诊断工具。

方法

S-Space：构建、识别与读出

作者引入了 S-Space，即多模态大语言模型 (MLLMs) 中间表示中的一个三维线性子空间，其中对象位置被线性编码并可直接读出。该方法分为三个阶段：构建子空间、识别其轴，以及通过投影读出空间坐标。

S-Space 构建

大语言模型被广泛假设在其内部表示中线性地表示概念。作者将这一思想扩展到空间推理，假设对象在观察者中心或自我中心参考系中定义的空间坐标被线性编码在其对象名称 token 的隐藏表示中。

对于给定模型和层 $\ell$ℓ，S-Space 被定义为隐藏表示的一个三维线性子空间

$$h_{\ell,t} \in \mathbb{R}^{d_{\mathrm{model}}}.$$hℓ,t​∈Rdmodel​.

S-Space 特定于模型和层，但在该层内的所有 token 位置 $t$t 之间共享。作者在模型的中间层中寻找 S-Space，因为较早层相对更锚定于输入表示，而较晚层则逐渐对齐到用于语言响应生成的下一个 token 预测。为简化起见，后续符号中省略层索引。

识别 S-Space

作者通过将模型对相对空间问题的响应对对象 token 激活求微分，识别出与水平、垂直和距离轴对应的三个 S-Space 方向。

每个相对空间问题示例包含一张图像和一个提示，该提示沿某一轴 $g \in \{x, y, z\}$g∈{x,y,z} 比较查询对象与参考对象，例如“苹果在杯子的左边还是右边？”。令 $q$q 和 $r$r 分别表示查询对象名称和参考对象名称的 token 位置。每个轴的答案对比度被定义为相应的 logit 差：

$$s_{p,x} = \mathrm{logit}(\mathrm{right}) - \mathrm{logit}(\mathrm{left}),$$sp,x​=logit(right)−logit(left), $$s_{p,y} = \mathrm{logit}(\mathrm{above}) - \mathrm{logit}(\mathrm{below}),$$sp,y​=logit(above)−logit(below), $$s_{p,z} = \mathrm{logit}(\mathrm{close}) - \mathrm{logit}(\mathrm{far}).$$sp,z​=logit(close)−logit(far).

梯度 $\nabla_{h_t} s_{p,g}$∇ht​​sp,g​ 表示扰动对象表示会最大程度增加相应答案对比度的方向。随后，作者形成一个角色反对称梯度差，并在提示模板、原始和交换后的对象顺序以及样本上进行平均：

$$a_{p,g} = \frac{\nabla_{h_q} s_{p,g} - \nabla_{h_r} s_{p,g}}{2}, \quad v_g = \mathrm{unit}\left(\mathbb{E}_p[a_{p,g}]\right).$$ap,g​=2∇hq​​sp,g​−∇hr​​sp,g​​,vg​=unit(Ep​[ap,g​]).

所得单位向量定义了三个 S-Space 方向：

$$\mathcal{S} = \mathrm{span}\{v_x, v_y, v_z\}.$$S=span{vx​,vy​,vz​}.

角色反对称差分的动机是，相对空间判断以相反方式对待查询对象和参考对象。使查询对象更靠右的变化应当有利于答案“右”，而将相同变化应用于参考对象则应当有利于“左”。因此，从查询梯度中减去参考梯度会增强以相反方式起作用的空间信号。对提示模板、对象顺序和样本进行平均，进一步抑制来自对象身份、提示措辞、token 角色和场景上下文的影响，这些影响与所查询的空间关系并非持续相关。

读出 S-Space

一旦识别出三个轴，读出 S-Space 只需要一次前向传播。该读出并不局限于用于识别轴的空间问答提示；相同的固定方向可以应用于由其他提示和任务得到的对象 token 表示。

作者将三个方向向量堆叠成矩阵 $V$V，并投影每个对象 token $t$t 以获得其在 S-Space 中的坐标：

$$V = [v_x, v_y, v_z] \in \mathbb{R}^{d_{\mathrm{model}} \times 3}, \qquad c_t = V^{\top} h_t \in \mathbb{R}^{3}.$$V=[vx​,vy​,vz​]∈Rdmodel​×3,ct​=V⊤ht​∈R3.

对于相对空间判断，查询对象和参考对象的坐标沿所查询轴进行比较：

$$m_g = v_g^{\top}(h_q - h_r) = c_{q,g} - c_{r,g}.$$mg​=vg⊤​(hq​−hr​)=cq,g​−cr,g​.

间隔 $m_g$mg​ 的符号直接选择预测端点。正值表示右、上或近，而负值表示左、下或远。

实验

实验使用由 COCO 构造的相对空间问题，并在 CV-Bench、EmbSpatial 和 Spatial-Tunnel 上评估读出结果，确立了 S-Space 是多模态语言模型中准确且持久的内部空间工作区；编辑其坐标会因果性地改变空间判断，同时基本保留非空间答案。案例研究表明，S-Space 产生于空间语言预测，并且能够反映由视觉证据、语言和抽象概念隐含的关系。进一步通过 SpinBench 和 MMSI-Bench 进行的诊断显示，空间推理失败通常源于不完善的视角变换以及基本方位与图像相对方向之间的耦合，而不是缺少感知信息。

在所有评估模型上，SpinBench 视角采择的直接答案生成仍然有限，而提供正确的源视角关系仅带来选择性改善。思维链推理能够提高准确率，但仍存在大量错误，尤其是对较小模型而言。从 S-Space 读出空间坐标后进行显式旋转，在提供源视角关系时可获得一贯的大幅提升和接近完美的准确率。无论模型和前提设置如何，S-Space 加旋转流程都大幅优于直接回答和思维链推理。在提供正确的源视角关系时，S-Space 流程可达到接近完美的准确率，而直接回答和推理模式仍留有显著错误。较大模型从思维链推理中获益更多，但即使是最强的推理结果也仍不及显式 S-Space 变换。

在 SpinBench 视角采择上的评估比较了直接答案生成、思维链推理以及读出空间坐标并应用显式旋转的 S-Space 流程。在所有模型上，直接回答仍然有限，并且当提供正确的源视角关系时仅选择性改善；思维链推理减少了错误，但仍然留下明显差距，尤其是对较小模型而言。当源视角关系可用时，S-Space 加旋转方法一贯带来大幅提升和接近完美的准确率，在不同模型和前提设置下均以较大幅度优于其他模式。即使来自较大模型的最强思维链结果也不及显式 S-Space 变换。