在AI时代，软件工程的边界正在重塑。作为一名AI领域的工程师，我的工作早已不再是传统意义上的编码，而是融合了软件工程、AI系统构建、产品思维与用户共情的复合型实践。面对快速迭代的AI技术，我开始重新思考：在这一新范式下，工程师需要掌握哪些核心能力与思维模型？ 一个关键认知是：AI工程本质上仍是软件工程，只是叠加了AI模型这一新层。在大多数企业中，我们并不从零训练模型，而是基于现成的AI能力（如API、RAG、工具调用）来解决实际业务问题。真正的挑战在于如何将这些AI组件可靠地集成到系统中，同时兼顾部署、监控、扩展等传统工程关切。 因此，AI应用可以看作由三层构成：应用层、模型层与基础设施层。多数团队从应用层起步，利用强大的现成模型快速构建产品，再根据需要深入模型或基础设施层。正如O’Reilly所言：“AI工程就是把AI模型塞进软件栈的软件工程。” 而在这其中，评估（evals）正成为新一层核心能力。在传统软件中，测试能及时发现回归问题；在AI系统中，一次微小的调整——如提示词优化、RAG更新或微调——可能在某方面提升性能，却在另一处悄然引入缺陷。评估正是AI时代的“测试”，帮助我们识别这些隐蔽问题，确保系统稳定演进。 但AI评估远比软件测试复杂。模型输出往往没有唯一“正确”答案，任务开放性强，且模型本身是黑箱，难以追溯其内部逻辑。因此，评估需分两路：量化评估（如数学题是否解对、代码能否运行）和质性评估（如语气是否恰当、摘要是否抓住重点）。多数场景是两者结合，例如评估一个生成网站，既要验证功能是否正常（量化），也要判断用户体验是否自然（质性）。 为实现可扩展的评估，一种有效方法是用AI作为评判者：定义清晰的评估标准（如清晰度、帮助性、事实性），将输入与输出交给另一个AI模型打分或解释，再通过大规模聚合分析趋势。这种方式可嵌入CI/CD流程，实现持续评估，及时发现模型更新后的性能退化。 更进一步，应倡导“评估驱动开发”——在构建前就明确“成功”的定义与衡量方式。这要求深入理解业务场景，不仅关注正确性，还要考虑实用性（如运行时间、资源消耗）、生成质量（流畅性、相关性）与事实一致性（本地与全局验证）。安全评估也需多维覆盖，包括内容合规、数据泄露防护与对抗攻击能力。 最终，随着AI系统日益复杂，评估不再是可选项，而是保障可靠性与可信度的基石。它让我们在拥抱AI的快速迭代时，依然能守住质量底线。未来，真正优秀的工程师，不仅是会调用模型的人，更是懂得如何衡量、验证与持续优化AI系统的人。