密度定律 Densing Law

密度定律 (Densing Law) 是由清华大学自然语言处理实验室刘知远教授团队于 2024 年 12 月提出的一个关于大型语言模型 (LLMs) 的新概念，相关论文成果为「Densing Law of LLMs」。

密度定律 (Densing Law) 描述了大型语言模型 (LLMs) 的能力密度随时间呈指数级增长的趋势。能力密度定义为给定 LLM 的有效参数大小与实际参数大小的比率，其中有效参数大小指的是达到与目标模型同等性能所需的参考模型的参数数量。这一定律揭示了 LLMs 在不同规模下的性能和效率，并提供了一个新的视角来评估和优化 LLMs 的发展。

研究团队通过分析 29 个广泛使用的开源大模型，发现 LLM 的最大能力密度随时间呈指数增长趋势，大约每 3.3 个月（约 100 天）翻一倍。根据密度定律，模型推理开销随时间指数级下降。从 2023 年 1 月至今，GPT-3.5 级别模型的推理成本已降低了 266.7 倍。

密度定律强调了在模型性能与效率之间寻求平衡的重要性，尤其是在面对日益增长的计算资源需求和环境影响的挑战时。此外，这一定律还指出，现有的模型压缩方法，如剪枝和蒸馏，通常不能提高压缩模型的密度，这表明需要更有效的模型压缩算法来提升小模型的密度。