在 100 多次企业级 AI 智能体部署中，我们总结出一套包含 12 项关键指标的评估框架，以解决生产环境中智能体“幻觉”和不可靠性的核心痛点。许多项目因缺乏实时评估机制而陷入合规困境，最终导致交付延误。该框架将指标分为四大类，确保智能体在上线前及运行中均处于可控状态。 首先是检索质量，涵盖上下文相关性、召回率、精确度及检索延迟。这是 RAG 系统的基石，若检索信息不准或过慢，后续生成无法补救。其次是生成质量，重点监控答案忠实度、相关性及幻觉率。在医疗、金融等受监管行业，忠实度需高于 95%，幻觉率需控制在 2% 以下，以确用户信任与合规安全。 第三类针对智能体特有行为，包括工具选择准确率、工具执行成功率及多步逻辑连贯性。智能体需精准调用工具并维持任务执行的逻辑闭环，否则会出现“步骤正确但结果错误”的灾难性后果。最后是生产指标，即单次查询成本与 P99 延迟。随着业务扩大，成本控制与响应速度直接决定项目商业可行性。 多数团队失败的原因在于低估评估价值，如指望 MVP 后再补充、过度依赖测试集准确率或依赖人工抽检。这些做法无法应对真实流量。我们建议分阶段实施：上线前重点监控检索与忠实度，软启动期增加幻觉与工具指标，稳定期则优化成本与延迟。现有工具如 Ragas 或 TruLens 虽覆盖部分指标，但难以兼顾全链路，尤其是智能体特有的多步逻辑评估。 真正的竞争优势不在于模型本身，而在于评估基础设施。建立这套框架虽需数周投入及额外算力成本，但能有效预防重大生产事故，其价值远超投入。在 AI 代理时代，评估能力将成为区分成功与失败的关键分水岭。