
摘要
大型语言模型(LLMs)的性能从根本上取决于推理过程中提供的上下文信息。本综述介绍了上下文工程,这是一门超越简单提示设计的正式学科,涵盖了为大型语言模型系统优化信息负载的系统方法。我们提出了一种全面的分类法,将上下文工程分解为其基础组件以及将其集成到智能系统中的复杂实现。首先,我们考察了基础组件:上下文检索与生成、上下文处理和上下文管理。然后,我们探讨了这些组件如何在架构上集成以创建复杂的系统实现:检索增强生成(Retrieval-Augmented Generation, RAG)、记忆系统和工具集成推理,以及多代理系统。通过对超过1300篇研究论文的系统分析,本综述不仅为该领域建立了技术路线图,还揭示了一个关键的研究空白:模型能力之间存在根本性的不对称性。尽管当前通过高级上下文工程增强的模型在理解复杂上下文方面表现出显著的能力,但在生成同样复杂且长篇幅的输出时却显示出明显的局限性。解决这一差距是未来研究的关键优先事项。最终,本综述为研究人员和工程师提供了一个统一的框架,以推动具有上下文感知能力的人工智能的发展。