应对AI成本挑战：提示操作的崛起与优化策略

随着大型语言模型（LLMs）的不断进步，其上下文窗口变得更长，推理能力更强。这虽然使模型能够处理更多数据并“思考”得更深入，但也导致计算需求急剧上升，成本随之增加。在这种背景下，一个新的学科——“提示操作”（prompt operations，或称prompt ops）应运而生。 计算量的使用和成本是两个相关但独立的概念。用户支付的价格通常根据输入和输出的令牌数量来计算，但隐藏的操作如元提示、导航指令或检索增强生成（RAG）不会被额外收费。然而，较长的上下文环境使得模型消耗更多的FLOPS（计算能力单位），甚至在某些情况下，计算量会随输入长度呈二次增长。此外，不必要的长回答不仅会延长处理时间，还会增加算法后处理的成本。 例如，对于一个简单的数学问题：“如果我有2个苹果，然后在吃了1个之后又买了4个，现在有几个苹果？” 模型可能给出如下回答：“如果我吃了一个，我只剩下1个。如果我又买了4个，我就有5个苹果了。”这种回答不仅生成的令牌过多，还把关键答案埋在冗长的回答中。为了获取正确答案，工程师需要设计程序来提取答案，这会进一步增加API成本。相反，通过改写提示，指导模型直接给出答案，比如：“回答下列数学问题。如果我有2个苹果，在吃了1个之后又买了4个，我现在有几个苹果？回答以‘答案是’开头。” 此外，不当使用复杂的提示技巧，如多步思考（CoT）提示或自我优化，可能导致模型生成大量令牌或多次迭代，从而增加成本。并不是每个查询都需要模型进行多轮分析。正确的配置和提示可以有效减少无谓的资源消耗。例如，OpenAI的高推理模型（如o3）在低效请求时会产生更高的成本。 IDC总裁 Crawford Del Prete 解释说，企业在优化AI基础设施时，要尽量减少GPU空闲时间，充分利用闲置周期。而提示操作正是管理提示生命周期的有效方式，它不仅是关于提示的质量，更重要的是如何高效地与AI交互，确保系统利用率最大化。Del Prete 认为，随着时间的推移，提示操作将成为一个重要学科，具有高度的自动化水平，减少人力干预。 一些提示操作平台已经出现，如QueryPal、Promptable、Rebuff和TrueLens。这些平台可以帮助用户实时反馈和调整提示，提高效率。未来，这些平台将进一步发展，实现更高的自动化水平，使代理能够自主创建和优化提示。 常见的错误提示包括过度复杂化简单问题、不适当的模型选择、冗长的上下文信息以及错误的API配置。为了提高效率，用户可以利用支持工具，如开源软件DSPy，它可以基于几个标记示例自动配置和优化提示。Emerson 强调，用户应保持对最新提示方法、模型发展和配置技术的关注，以最大限度地提高效率。 业内人士认为，随着提示操作的发展，企业的AI应用将更加高效和经济。这不仅是技术层面的优化，更是管理和策略上的重大进步。未来，提示操作将成为企业使用LLMs的重要组成部分，帮助企业在资源有限的情况下实现最大化的价值。 这些观点反映了当前人工智能领域的复杂挑战和创新方向。提示操作不仅关乎技术，更关乎企业和开发者的运营策略。随着这一领域的进一步成熟，预计将有更多的工具和平台涌现，帮助企业更好地管理和利用AI能力。