近期，Ahmed ElKady等人针对混合专家架构在大型多模态模型微调中的部署难题展开深入调研。以352亿参数的Qwen3-Omni模型为例，研究团队在四块80GB显存的A100 GPU上系统测试了分布式训练方案。实验证实，传统基于参数分片的ZeRO与FSDP框架因MoE层数据依赖的动态路由特性，极易引发显存溢出，五类配置均告失败。为此，团队提出保层降存策略，通过保持MoE层完整部署于单卡，并协同启用4-bit QLoRA量化、Flash Attention 2切片注意力机制及输出层前置钩子技术，成功将峰值显存压降至15.6GB，实现高效微调。 在对路由机制的层析审计中，研究发现模型呈现显著的模态到语义过渡特征：浅层专家分配主要依据文本、音频或视频等信号类型，深层网络则转向按上下文语义内容动态路由，其中文本路由的跨层波动性尤为突出。基于路由表已深度收敛的结论，微调阶段直接冻结路由权重可有效避免负载均衡损失干扰，将参数更新集中于核心注意力层。该研究指出专家并行架构为MoE长期演进方向，并明确提升微调兼容性、优化多模态序列选择及建立抗格式干扰评估体系，将是推动稀疏计算大规模落地的关键突破。