HOPE二阶专家剪枝保留混合专家协作结构

混合专家模型能支撑大语言模型扩展，但推理时所有专家子网络均常驻显存，造成显著内存瓶颈。相关大型模型中，约九成参数来自专家层，而单个词元仅激活少量专家。删除低贡献专家是压缩模型的重要路径，但现有方法多逐专家独立评分，忽视稳定协同关系，高比例剪枝易损性能。 近日，亚马逊云科技研究人员提出霍普专家剪枝框架。该方法通过校准数据前向传播收集门控权重、输出范数和共激活统计，构造专家交互矩阵，并求解优化问题，选择整体影响最小的删除集合。矩阵对角项反映单专家价值，非对角项刻画协作强度，可避免破坏关键协作群组。 在千问和智谱等混合专家模型上，霍普与多种一阶基准方法对比，在百分之十至百分之五十剪枝率下取得最佳平均排名，百分之五十剪枝时优势最明显。代码任务测试中，其百分之五十剪枝结果接近未剪枝模型，明显优于对比方法。团队同时发布可复现工具包。 该研究二阶考虑专家协作，可有效降低混合专家模型部署成本，适合长上下文和工具调用场景。不足在于低剪枝收益有限，且仍逐层优化、只建模成对交互。