ReplaceMe：通过层修剪和线性变换简化网络

我们推出了 ReplaceMe，一种广义的无需训练的深度剪枝方法，它有效地用线性运算替换 Transformer 模块，同时在低压缩比下保持高性能。与需要额外训练或微调的传统剪枝方法相比，我们的方法仅需要一个小型校准数据集，用于估计线性变换以近似剪枝后的模块。该估计的线性映射可以与剩余的 Transformer 模块无缝合并，无需任何额外的网络参数。我们的实验表明，ReplaceMe 的性能始终优于其他无需训练的方法，并且与涉及大量再训练/微调和架构修改的最先进的剪枝方法相比仍然具有很强的竞争力。应用于多个大型语言模型 (LLM) 后，ReplaceMe 在公开基准测试中实现了高达 25% 的剪枝率，同时保留了原始模型约 90% 的性能——无需任何训练或修复步骤，从而最大限度地减少了计算开销（见图 1）。我们提供了一个开源库，其中包含了 ReplaceMe 以及几种最先进的深度剪枝技术，可在此存储库中找到。