一句话总结

SII、上海交通大学和GAIR的研究人员提出UMoE，一种保持预算不变的流程，通过剪枝低显著性专家、基于扰动重新生长，然后应用监督微调，将混合专家（MoE）专家池重新对齐到目标领域，在两种架构和五个领域上，相比直接SFT实现了持续提升，包括数学准确率$+3.4$+3.4和SWE-bench Verified上的$+6.0$+6.0，且无需额外参数或推理成本。

核心贡献

• UMoE是一个保持预算不变的流程，它剪枝低显著性专家，通过基于扰动的扩展重新生长它们，然后应用标准的监督微调，保持专家数量、参数数量和推理成本不变。
• 在两种MoE架构、五个领域和12个基准测试上，UMoE始终优于直接SFT，代表性提升为数学准确率3.4分和SWE-bench Verified上的6.0分，且使用单一固定配方，无需针对每个领域调优。
• 分析表明，直接SFT在低显著性专家上浪费了容量，这些专家可以被移除而几乎不损失性能，而UMoE将这种冗余转化为有用的领域专业知识，实现了更低的训练损失和所有难度级别上的改进。

引言

前沿大语言模型越来越多地采用混合专家（MoE）架构，以在保持推理高效的同时扩展容量，而这些模型的领域特定后训练对于提升在困难问题上的性能或创建可以后续整合为通才的专家模型至关重要。然而，从混合领域预训练继承的专家池并非同质：稀疏路由鼓励功能专业化，导致一些专家对目标分布的关联度低，但在标准监督微调（SFT）期间仍会接收到不可忽视的路由。这种错配浪费了固定容量，因为SFT原地更新专家而不重新分配位置。作者提出UMoE，一种领域感知的重组方法，首先使用目标领域校准数据剪枝领域显著性最低的专家，然后通过基于扰动的扩展重新生长专家池，以恢复原始专家数量，再进行标准SFT。得到的模型保持架构、参数数量和推理成本不变，同时使专家池中更大比例对下游性能产生实质影响。

方法

作者提出UMoE，一种在领域特定监督微调之前重组混合专家模型专家池的方法，保持原始架构和推理预算不变。核心思想是用领域对齐的初始化替换通用的预训练专家配置，使后续微调从一组更相关的参数开始。

一个MoE层包含$E$E个路由专家$\{E_1, \dots, E_E\}${E1​,…,EE​}和一个路由器。对于token表示$h$h，路由器选择一个top-$K$K子集$\mathcal{S}(h)$S(h)，层输出为门控和：

$y = \sum_{i \in \mathcal{S}(h)} g_i(h) E_i(h),$y=∑i∈S(h)​gi​(h)Ei​(h),

其中$g_i(h)$gi​(h)是归一化的门控权重。$E$E和$K$K均由预训练架构固定，决定了参数数量和每个token的推理成本。UMoE特意保持这些数字不变，因此重组后的模型与原始模型具有完全相同的部署预算。

预训练赋予专家专门的功能，但在单一目标分布下，它们的相关性变得不均匀。一些专家与领域对齐良好，而另一些尽管接收到不可忽视的路由，仍然对齐不佳。标准微调原地更新现有池，但并未显式重新分配专家容量。UMoE通过首先剪枝低显著性专家，然后从幸存者中扩展，在应用标准SFT损失之前创建领域对齐的初始化来解决这一问题。

该方法分三步进行。首先，使用校准子集$\mathcal{C} \subset \mathcal{D}$C⊂D为每层的每个专家打分，并丢弃领域显著性最低的一半。其次，通过从幸存者中再生专家，将剪枝后的池扩展回原始大小$E$E。第三，重组后的模型使用交叉熵目标进行领域SFT。最终模型在架构上与原始模型完全相同，仅专家初始化不同。

对于剪枝，作者采用REAP显著性度量，该度量将专家的激活强度与其路由器门控耦合。对于层$l$l和专家$e$e，令$\mathcal{T}_{l,e}$Tl,e​为专家被选中的校准token集合，$f_{l,e}(h_t)$fl,e​(ht​)为其MLP输出，$g_{l,e}(h_t)$gl,e​(ht​)为其重新归一化的门控权重。显著性定义为条件均值：

$S(l, e) = \frac{1}{|\mathcal{T}_{l,e}|} \sum_{t \in \mathcal{T}_{l,e}} g_{l,e}(h_t) \left\| f_{l,e}(h_t) \right\|_2.$S(l,e)=∣Tl,e​∣1​∑t∈Tl,e​​gl,e​(ht​)∥fl,e​(ht​)∥2​.

如果专家从未被选中，其得分设为零。该度量将每次激活的显著性与路由频率分离，保留在活跃时产生大输出且门控权重大的专家。消融实验表明，REAP和激活频率具有竞争力，而未加权的专家激活范数在此设置下表现较差。

剪枝后，每层保留$E/2$E/2个领域显著性专家。扩展将池重新生长到$E$E个专家，保持参数数量、活跃专家$K$K和推理成本不变。每个释放的位置由一个按轮询顺序分配的幸存者初始化，因此在50%的剪枝比例下，每个幸存者恰好播种一个新专家。幸存者的MLP权重和路由器行被复制到释放的位置，然后父专家和重新生长的专家都被独立扰动。对于任何参与父-再生对的参数张量$W$W，更新为：

$W_{\text{parent}}' = W + \sigma \, s(W) \, \epsilon_p, \quad W_{\text{regrown}}' = W + \sigma \, s(W) \, \epsilon_r,$Wparent′​=W+σs(W)ϵp​,Wregrown′​=W+σs(W)ϵr​,

其中$\epsilon_p, \epsilon_r \overset{\text{i.i.d.}}{\sim} \mathcal{N}(0, \mathbf{I})$ϵp​,ϵr​∼i.i.d.N(0,I)，$s(W)$s(W)是对应参数组（例如，单个MLP投影、存储的专家张量或整个路由器矩阵）的经验标准差。噪声尺度设为$\sigma = 0.05$σ=0.05，噪声在组间和两侧之间独立采样。对于具有专家得分校正偏置的架构，重新生长的专家继承父专家的偏置。

两个设计原则指导扰动策略。第一，对pair的两侧都进行扰动，而不仅仅是重新生长的专家。单侧扰动会产生初始化不对称性，导致SFT期间对扰动半边的路由减少，损害下游性能；对称扰动消除了特权未扰动锚点。第二，同时扰动路由器行和MLP权重。路由器扰动引入路由不对称性，而MLP扰动创建功能不对称性。单独任一组件表现良好，而它们的组合产生最佳平均结果。

实验

UMoE在两种MoE架构、五个不同领域和多种SFT数据规模上进行了评估，始终优于直接微调。消融实验证实，基于REAP的剪枝和对路由器及MLP权重的对称扰动至关重要，而机制分析揭示，基线模型存在冗余专家使用，UMoE的收益源于使重新生长的专家集体产生实质影响。行为分析显示，改进分布在问题难度上，UMoE经常纠正关键推理错误。

SFT数据集覆盖五个领域，在规模和序列长度上有显著差异。Agentic数据的平均序列长度远超其他，而Science提供最多样本但长度适中。总token数从Tool-use的0.19B到Code的2.6B，反映了样本数和平均长度的相互作用。Agentic领域（OpenSWE）的平均序列长度最高，超过50,000个token，尽管样本数最少。Science领域使用最大的数据集，近700,000个样本，但由于平均长度较短，其总token数低于Code和Math。Code和Math各包含300,000个样本，但Code更长的平均序列使其在所有领域中总token数最高。Tool-use数据集相对紧凑，约119,000个样本，平均长度1,600个token，导致总token数最少。

UMoE在两种MoE架构上始终提高了数学基准测试的准确率，优于直接SFT。从较弱基线开始时收益更大，在Qwen3-30B-A3B上平均提升+3.40，并且即使在已经超越可比思考模型的强大内部训练基线上，收益依然存在，UMoE平均增加+1.36。专家池重组在数据规模和基线强度方面均有效。在OpenMathReasoning的300k子集上，UMoE在Qwen3-30B-A3B和Qwen3.5-35B-A3B的所有六个数学基准上均提高了平均准确率，最大单基准增益为AIME 2024上的+6.56。当使用高质量内部数学语料训练时，直接SFT基线已经优于Qwen3-30B-A3B-Thinking，但UMoE仍然提升了六个基准中的五个，并将平均值提高了+1.36，最高在HMMT Feb 2026上达到+3.03。

UMoE在Qwen3-30B-A3B的所有六个跨领域基准上均比直接SFT有持续改进，涵盖代码、科学、工具使用和agentic编码。收益广泛，未加权平均增加2.55分，最大单次提升是SWE-bench Verified上pass@1的6.0分增长。这表明专家池重组有效迁移到数学之外的多样化推理和agentic任务。UMoE在每个评估基准上都优于直接SFT，包括LiveCodeBench、GPQA-Diamond、τ-bench、τ²-bench和SWE-bench Verified。Agentic编码的绝对改进最大，SWE-bench Verified的pass@1从16.2%提升至22.2%（+6.0分）。GPQA-Diamond上的科学推理提高3.10分，而代码基准在两个LiveCodeBench版本上分别显示2.73和0.85分的增益。τ-bench和τ²-bench上的工具使用任务分别上升1.20和1.40分，证实收益扩展到交互式agent设置。

对UMoE方法两个步骤的消融显示，REAP剪枝相比直接SFT提供了最大提升，基于频率的剪枝紧随其后。对于扩展，对路由器和MLP权重均施加对称噪声效果最佳，而将噪声限制在仅重新生长的一侧会导致性能大幅低于基线。REAP剪枝（路由器加权激活范数）比直接SFT提高5.16分，略优于基于频率的剪枝（+4.78）。路由器和MLP上的对称噪声产生最高平均得分（43.01），而单侧扰动使性能降至直接SFT基线以下。

从直接SFT中剪枝显著性最低的一半专家几乎不影响其数学基准平均值（仅下降0.12分），表明这些专家尽管接收了大量路由，却是冗余的。相比之下，剪枝UMoE损失5.00分，并将其相对于直接SFT的领先优势从+5.16缩小至+0.28，证明UMoE的收益依赖于使更广泛的专家池集体有用。移除下半部分专家后，直接SFT的平均得分仅变化-0.12，揭示其近40%的路由容量是冗余的。剪枝UMoE损失5.00分，将其领先优势从+5.16缩小至+0.28，表明其优势依赖于额外的半数专家池。

评估涵盖五个SFT领域，具有不同的数据规模和序列长度，UMoE在数学、代码、科学、工具使用和agentic编码基准上进行了测试，以验证其专家池重组方法。在弱基线和强基线上，UMoE始终提高准确率，数学和agentic任务收益最大，消融研究表明REAP剪枝和对称噪声扩展至关重要，而该方法的优势取决于整个扩展专家池的集体有用性。总体而言，UMoE将先前冗余的专家转化为广泛有益的资源，在推理和交互式agent场景中产生稳健的改进。