在大型语言模型应用中，随着请求数量增加，成本和延迟问题日益凸显。尽管检索增强生成等技术在处理自定义数据方面表现优异，但如何高效扩展仍是核心挑战。提示词缓存技术应运而生，能显著优化系统性能。据统计，该技术可将延迟降低高达 80%，输入令牌成本降低高达 90%。 缓存的基本原理是存储重复数据以避免重复计算。在大型语言模型推理中，生成回复时需反复处理相同的输入令牌。通过键值缓存，模型只需计算新生成的令牌，而将中间状态存储起来。提示词缓存则进一步将这一概念扩展至不同请求间，特别是针对系统提示语、指令或检索上下文等频繁重复的前缀部分。当多个请求共享相同的前缀时，系统可复用之前的计算结果，仅处理差异部分。 值得注意的是，缓存仅在提示词前缀完全匹配时生效。若两个提示词仅在末尾不同但前缀一致，即可触发缓存命中；反之，若前缀首个令牌不同，即便语义相似也会缓存失效。因此，开发者应将静态指令置于提示词开头，将动态信息如时间戳或用户 ID 置于末尾，以最大化缓存利用率。 目前，包括 OpenAI 在内的主流模型 API 已集成此功能。缓存对组织内所有用户使用同一密钥的请求通用，一旦某前缀被缓存，其他用户调用相同前缀即可享受加速与降费。然而，启用缓存通常需满足最小令牌阈值（如 OpenAI 为 1024 令牌），且缓存有效期通常为 24 小时。这意味着该技术主要适用于拥有大量活跃用户和高频请求的规模化企业应用。对于此类场景，提示词缓存是提升效率、降低成本的关键手段。