推理（Reasoning）是模型训练完成后，对新的输入做前向计算并输出结果的过程——它不更新权重，只“使用”已学到的参数。对大模型而言，推理通常分两个阶段：先把整段提示并行编码（prefill），再逐 token 自回归生成（decode）。两个阶段的资源特征不同：prefill 偏算力密集，decode 偏访存密集，因此优化手段也各异。

推理的瓶颈往往不在算力而在显存：每个请求都要保存随生成不断增长的 KV 缓存，管理不当会造成严重碎片和重复，限制同时处理的请求数。2023 年，Kwon 等人在论文《Efficient Memory Management for Large Language Model Serving with PagedAttention》中提出了 PagedAttention 技术，其搭载的推理框架 vLLM 在同等延迟下把吞吐提升了 2–4 倍。推理系统的显存管理，本质上是一个操作系统问题。此外，量化、知识蒸馏、投机解码和连续批处理也都是常用的加速手段。借鉴操作系统的虚拟内存与分页思想，把 KV 缓存切成固定大小的块并按需映射，使浪费接近零，并支持请求内与跨请求共享。

从成本结构看，训练是一次性投入，推理却是持续发生的成本。推理的延迟与吞吐直接决定了大模型能否规模化落地，这类系统优化是把“能用”变成“用得起”的关键。