量化是降低模型中数值精度的过程，例如将原本用16位或32位浮点数存储的模型权重，转换为8位整数。这一技术能显著减小模型体积、提升运行速度并降低硬件资源消耗，通常仅带来极小的精度损失。对于参数量庞大的大语言模型（LLM），量化尤为重要，因为它直接关系到模型能否在消费级设备上高效部署。 量化的基本原理可理解为：通过减少表示数值所需的比特数，压缩模型存储空间并加速计算。例如，一个32位浮点数需4字节，而8位整数仅需1字节，模型整体大小可缩减75%以上，同时计算效率大幅提升。 根据实施时机的不同，量化方法主要分为两大类： 一是训练后量化（Post-Training Quantisation, PTQ），即在模型训练完成后直接进行量化。这种方法无需重新训练，实现简单、速度快，适合快速部署。常见的PTQ方法包括对称量化、非对称量化、逐层量化和基于校准数据的动态范围量化。其中，使用少量验证数据进行校准（calibration）以确定量化参数，是提升PTQ精度的关键。 二是量化感知训练（Quantisation Aware Training, QAT），即在训练过程中模拟量化效果，让模型提前适应低精度表示。QAT通常能保持更高的精度，尤其适用于对性能要求极高的场景。它通过在前向传播中插入伪量化操作，使反向传播也能学习量化带来的误差，从而训练出更鲁棒的低精度模型。 在实际应用中，还衍生出多种混合策略，如量化到4位（4-bit quantisation）甚至二值化（Binary Neural Networks），以及针对特定硬件优化的量化方案，如GPTQ、AWQ和GGUF等。这些方法在保持模型性能的同时，进一步压缩模型并提升推理效率。 总的来说，量化是实现大模型高效部署的核心技术。选择合适的量化方法需权衡精度、速度、硬件兼容性和开发成本，而PTQ与QAT的结合使用，已成为当前主流的优化路径。