SparseLLM 全局剪枝框架

SparseLLM 是一种新型的全局剪枝框架,由埃默里大学和美国阿贡国家实验室的研究人员于 2024 年共同提出,相关论文成果为「SparseLLM: Towards Global Pruning of Pre-trained Language Models」,已被 NeurIPS 会议接收,该框架旨在提高预训练大型语言模型 (LLMs) 的效率。

SparseLLM 框架通过将全局剪枝问题分解为更易管理的子问题,从而在高稀疏度下也能实现高效的优化和优异的性能。 SparseLLM 的优势在于它能够在内存消耗较低的情况下实现全局剪枝。开发团队基于 LLMs 可以被表述为一个复合函数的观察,通过辅助变量将全局剪枝目标重新表述为等价形式,从而将其分解为多个子问题。然后,开发了一种高效的算法,通过交替优化每个子问题来实现全局最优解。

实验结果表明,SparseLLM 框架能够在不同规模的预训练语言模型上实现高效的全局剪枝,同时保持良好的模型性能。无论是在较小的 OPT 模型上,还是在更大规模的 LLaMA 模型上,SparseLLM 均表现出色,特别是在高稀疏度的条件下表现尤为突出。此外,SparseLLM 的收敛速度和剪枝后的通用性也为其在实际应用中的高效性和适用性提供了强有力的支持。