一句话总结

来自清华大学人工智能产业研究院（AIR）和字节跳动 Seed 的研究人员提出了子空间对齐重布线（SAR），这是一种事后编辑方法，从强化学习更新中提取紧凑的推理有效谱核心，用约 0.58% 的参数保持超过 99% 的性能，同时改善探索，净化跨域干扰，并实现优越的模型合并。

核心贡献

• 子空间对齐重布线（SAR）通过将 RL 更新投影到基模型的谱空间中，提取紧凑的推理核心，用仅 0.58% 的参数保持超过 99% 的数学性能，并在七个 agentic 编码基准中的六个上取得改进。
• SAR 改善了高 k 探索，在 Pass@k 扩展上超越了全参数 RL，在混合域 RL 中，它净化更新以释放被抑制的编码能力，同时保持数学推理和指令遵循。
• SAR 实现了跨数学和代码专家的模型合并，产生的合并模型在多个规模上的 AIME 和 LiveCodeBench 上均优于最佳单域专家和以往的合并基线。

引言

强化学习（RL）后训练已成为通过针对任务级反馈进行优化来提升大型语言模型在数学、编码和 agentic 工作流等任务上表现的关键方法。然而，全参数 RL 的黑箱特性使得对引发的参数变化控制有限，导致两个实际瓶颈：奖励优化可能将策略缩小到一小部分高奖励轨迹，抑制探索和测试时扩展，而来自多个域的更新可能在参数空间中产生破坏性干扰，导致跨域性能权衡。作者通过提出一个几何视角来解决这些问题，其中基模型的奇异值分解（SVD）定义了预训练“原子技能”的坐标系。他们表明，RL 主要通过一个紧凑的非对角重布线矩阵重新连接这些技能，而不是任意参数漂移。这一洞察产生了子空间对齐重布线（SAR），一种事后编辑方法，将密集的 RL 更新投影到基模型的谱流形上，从而能够提取紧凑的推理有效成分，净化多域更新以减少干扰，并改进专家模型合并。

方法

作者引入了一个几何框架来理解和提取由结果奖励强化学习（RL）从预训练模型中引发的推理能力。核心思想是 RL 更新的推理有效部分位于预训练模型的谱子空间内，并可通过一种称为子空间对齐重布线（SAR）的基于投影的算法来隔离。

该框架首先通过奇异值分解（SVD）分析线性层的权重矩阵 $W_0 \in \mathbb{R}^{d_{\text{out}} \times d_{\text{in}}}$W0​∈Rdout​×din​：

$$y_{\text{base}} = W_0 x = U \Sigma V^\top x = \sum_{i=1}^r \sigma_i u_i (v_i^\top x)$$ybase​=W0​x=UΣV⊤x=i=1∑r​σi​ui​(vi⊤​x)

这里，右奇异向量 $v_i$vi​ 充当特征检测器（信息读入），左奇异向量 $u_i$ui​ 定义输出方向（信息读出），由奇异值 $\sigma_i$σi​ 缩放。作者认为，预训练模型的功能能力集中在主谱流形 $\mathcal{S}_r(W_0) = \operatorname{span}(U \otimes V)$Sr​(W0​)=span(U⊗V) 中，该流形充当潜在技能的坐标系。

当模型通过结果奖励 RL 进行微调时，得到的权重矩阵 $W_{\text{RL}}$WRL​ 产生更新 $\Delta W = W_{\text{RL}} - W_0$ΔW=WRL​−W0​。核心假设是，可以通过将 $\Delta W$ΔW 投影到预训练谱子空间上来恢复该更新中与推理相关的成分。更新被分解为 $\Delta W = \Delta W^* + \Delta W_\perp$ΔW=ΔW∗+ΔW⊥​，其中 $\Delta W^*$ΔW∗ 是子空间对齐成分，$\Delta W_\perp$ΔW⊥​ 是流形外的残差。使用投影算子 $P_U = U U^\top$PU​=UU⊤ 和 $P_V = V V^\top$PV​=VV⊤，推理有效更新被提取为：

$$\Delta W^* = P_U \Delta W P_V = U (U^\top \Delta W V) V^\top = U M V^\top$$ΔW∗=PU​ΔWPV​=U(U⊤ΔWV)V⊤=UMV⊤

矩阵 $M = U^\top \Delta W V \in \mathbb{R}^{r \times r}$M=U⊤ΔWV∈Rr×r 被称为重布线矩阵。与原始的对角矩阵 $\Sigma$Σ 不同，$M$M 通常是稠密的，捕捉了预训练奇异向量之间的跨维度交互。在实践中，该方法首先提取 $\Delta W$ΔW 的低秩近似，然后将其投影到 SVD 子空间，将参数压缩与谱对齐相结合。

重布线后的前向传播变为 $W^* = W_0 + \Delta W^* = U(\Sigma + M)V^\top$W∗=W0​+ΔW∗=U(Σ+M)V⊤，从而得到：

$$y_{\text{rewired}} = \sum_{i=1}^r \left[ \underbrace{(\sigma_i + M_{ii})(v_i^\top x)}_{\text{Rescaling}} + \underbrace{\sum_{j \neq i} M_{ij}(v_j^\top x)}_{\text{Rewiring}} \right] u_i$$yrewired​=i=1∑r​​Rescaling(σi​+Mii​)(vi⊤​x)​​+Rewiringj=i∑​Mij​(vj⊤​x)​​​ui​

这揭示了一个机制上的区别：对角元素 $M_{ii}$Mii​ 只是重新缩放现有能力，而非对角元素 $M_{ij}$Mij​ 使得单个输出方向 $u_i$ui​ 能够由多个不同的输入特征 $v_j$vj​ ($j \neq i$j=i) 合成。这种从一对一关联映射到多对一逻辑综合的转变，为推理提供了几何基础，使模型能够将独立的潜在前提组合成共享的输出表示。因此，SAR 保留了负责关系整合的结构重布线，同时丢弃了落在预训练谱流形之外的更新成分。

SAR 框架提供了一个实用的接口：通过操作紧凑的重布线矩阵而不是全参数更新，推理更新可以被压缩、过滤或合并。这一几何视角后来被应用于跨域泛化，其中将多域 RL 更新或合并的专家模型投影到基谱流形上有助于保留共享的推理结构并过滤不兼容的残差方向。

实验

实验评估了谱注意力重布线（SAR），该方法从强化学习（RL）微调模型中提取紧凑的推理有效谱更新。在数学推理（AIME）、编码（LiveCodeBench、agentic 基准）和指令遵循（IFEval）等多个模型规模和系列上，SAR 保留了完整的 RL 推理增益，同时仅保留 1–10% 的预训练谱秩，并且在不重新训练的情况下，在更大的采样预算下改善了探索。在跨域设置中，通过这种谱几何将多任务 RL 更新投影或合并领域专家，减少了任务干扰，产生的合并模型超越了单域专家，并释放了被抑制的跨域能力，表明可迁移的推理信号集中在基模型的谱流形中。

谱重布线在 AIME 基准上几乎保留了所有 RL 推理增益，同时仅使用预训练谱秩的极小部分。在不同模型规模上，投影模型在评估方差范围内与全 RL 性能相匹配，强大的推理配方仅需保留 1% 的秩。这表明 RL 引发的改进集中在一个紧凑的谱子空间中，而不是需要全参数更新。对于 1.5B 模型，仅保留 1% 的谱秩就恢复了 AIME 2024（40.21% vs. 40.31%）和 AIME 2025（28.96% vs. 29.58%）上的全 RL AVG@32 分数，Pass@32 相同或略高。像 DeepScaleR 和 Polaris 这样的强后训练推理配方在 1–10% 的保留秩下饱和，而从不太专业的基模型中引发推理则需要更大的 30% 秩。紧凑的谱更新转化为 1.5B 模型仅约 0.58% 总参数的存储比率，表明对于所测量的推理增益，大部分不受约束的 RL 更新是不必要的。

谱重布线矩阵 M 非常紧凑，对于 1.5B 模型仅使用约 0.58% 的总参数，对于 32B 模型仅使用约 0.64%。对于需要更大投影秩的 4B 模型，M 仍仅占参数的 7.75%。这证实了推理有效的 RL 更新集中在一个小的谱子空间中，使得存储和传输高效。对于 1.5B 和 32B 模型，重布线矩阵 M 分别仅占总参数的约 0.58% 和 0.64%。4B 模型需要更高的投影秩（10%），导致 M 占约 7.75% 的总参数，但仍远小于全模型大小。

对编码后训练增量应用 top-1% 谱秩投影，在七个开放的 agentic 编码基准中的六个上得到改进，平均相对增益为 2.52%，最大改进为 25.10%。只有使用 CodeAct agent 的 MSWE-Bench 出现了 0.33% 的轻微下降，证实了紧凑的谱更新广泛适用于应用编码工作流。SAR 将 TerminalBench 2.0 提升了 25.10%，这是在所有评估的 agentic 编码基准中最大的相对增益。七个基准中有六个得到改进，平均增幅为 2.52%；唯一的下滑是使用 CodeAct agent 的 MSWE-Bench 下降 0.33%。

谱推理重布线提取紧凑的推理有效参数，当与代码专家合并时，产生的模型在 1.5B 和 14B 规模上，在数学和代码基准上均超越了最佳单域专家。与简单的权重平均相比，这种方法减少了跨域干扰，实现了更强、更平衡的跨域迁移。在 1.5B 规模上，SAR 合并同时超越了最佳的单域数学和代码专家。在 14B 规模上，SAR 提供了平衡的跨域迁移，在保持数学专家优势的同时，将代码性能提升到代码专家之上。

实验评估了谱重布线在数学基准上保留 RL 推理增益、将编码改进迁移到 agentic 任务以及将推理与代码专家合并的效果。在不同模型规模上，将 RL 更新投影到仅低至 1% 的预训练谱秩，即可恢复完整的推理性能，表明改进集中在一个紧凑的子空间中。这种紧凑性还实现了高效的存储和跨域迁移，其中 top-1% 谱投影提升了大多数 agentic 编码基准，合并模型超越了单域专家，同时减少了干扰。