NVIDIA推出NVFP4 KV缓存量化技术，显著提升大模型推理性能。该技术通过将KV缓存精度从传统的16位降至4位，实现内存占用减少50%，使上下文容量翻倍，从而支持更长序列和更大批量推理，同时保持接近原始精度的性能。 在大语言模型（LLM）的自回归生成过程中，每生成一个新token，系统需重复计算所有历史token的键（Key）和值（Value）向量，造成大量冗余计算。KV缓存机制通过存储这些不变的K/V向量，避免重复计算，极大提升效率。然而，缓存占用内存较大，尤其在长上下文和高并发场景下易导致缓存命中率下降，影响性能。 NVFP4技术通过将KV缓存压缩至4位，显著降低内存压力，使相同显存下可容纳两倍于FP8缓存的上下文内容。这不仅提升了缓存命中率，还减少了因缓存溢出导致的重新计算，从而大幅降低预填充阶段的延迟。实测显示，NVFP4可使首次token生成时间（TTFT）降低高达3倍，缓存命中率提升20%。 尽管精度降低，NVFP4在实际测试中仅带来小于1%的准确率损失。在LiveCodeBench、MMLU-PRO、MBPP和Ruler 64K等关键基准测试中，其表现与BF16和FP8基线几乎持平，尤其在长序列推理和复杂代码生成任务中展现出强大鲁棒性。 相比其他4位格式如MXFP4，NVFP4采用更精细的块缩放和更高精度的E4M3 FP8缩放因子，有效降低量化过程中的误差，使MMLU测试中准确率提升约5%。 该技术可与NVIDIA TensorRT Model Optimizer结合，支持后训练量化（PTQ）和量化感知训练（QAT），用户仅需调整配置即可启用。未来，NVFP4可与NVIDIA Dynamo的KV感知路由、TensorRT-LLM的Wide Expert Parallelism等技术协同，进一步提升多专家模型（MoE）的推理效率，支持更大规模、更长上下文、更高并发的AI应用。 NVFP4是NVIDIA软硬件协同设计体系中的关键一环，为构建高效、可扩展的AI推理平台提供了强大支持。