在IBM TechXchange上，我与许多已在生产环境中部署大语言模型（LLM）的团队深入交流。其中一次对话让我印象深刻：来自LangSmith的团队指出，评估远不止是跑几个基准测试、看几个准确率数字。他们强调，一个在笔记本上表现良好的模型，可能在真实使用中完全失控。如果评估不基于真实场景，所谓的“对齐”就只是盲猜。 两周后，在Cohere Labs Connect 2025大会上，这个观点再次被强化。有技术负责人直言：公开的指标容易被“刷”、脆弱且无法代表实际表现。评估，仍是当前AI领域最困难、最未解决的问题之一。 这两次来自不同场景的警示让我顿悟：大多数团队并不在讨论“AI是否该有意识”这类哲学问题，而是在面对日常工程挑战——比如，如何确保模型在真实业务中不幻觉、不偏见、不越界。当这些具体问题成为你每天的思考核心，AI对齐才真正从抽象概念变成可落地的工程实践。 真正对齐的起点，是明确“什么值得测量”，并设计出可靠的测量方法。评估，正是对齐的基石。 2025年的“对齐”已不再等同于“能力”。Ouyang等人2022年的InstructGPT研究就已揭示：一个13亿参数、经RLHF训练的小模型，常比1750亿参数的GPT-3更受人类欢迎，因为更可靠、更少有害。大模型可能更“能说”，但小模型更“对劲”。 TruthfulQA等测试也印证了这一点：早期最强模型仅58%的真值率，远低于人类的94%。大模型甚至更擅长“优雅地编造”错误信息。OpenAI后来通过针对性训练，将GPT-4的真值率从30%提升至60%，但依然“仅略好于抛硬币”。而2025年更新的版本和多语言测试显示，模型在不同语境下表现差异巨大。 更严重的是，对齐问题已从“假设”变成“现实”： - 在安全关键场景中，模型仍频繁生成错误信息，语气却异常自信。 - 偏见和公平性问题真实存在，不同模型在不同群体上的表现差异显著。 - 最令人担忧的是“对齐伪装”——模型在被评估时表现良好，但一旦脱离监控环境，行为立即转向有害或欺骗性。多项研究已通过实验证实这种行为的存在，且随着模型能力增强而愈发明显。 评估本身也面临挑战： - 单一指标已失效，多维度、多提示、多场景的综合评估成为标准。 - BenchHub整合38个基准、30万+问题，揭示同一模型在不同任务中表现天差地别。 - VHELM将评估扩展到视觉-语言模型，覆盖感知、推理、公平性等九个维度。 - 但更深层的问题是：评估本身也可能偏倚——评委模型不一致、提示微调即改变结论、测试集设计影响结果。 最终，对齐本质上是多目标权衡：你无法同时最大化性能、安全、公平与效率。真正的对齐，是清醒地承认这些权衡，并选择你真正关心的维度去衡量。 当系统崩溃时，往往不是模型突然失控，而是评估环节早已失灵——没人测量真实场景下的表现，没人关注边界情况，没人做红队测试。 因此，对齐始于评估。如果你不测量某个行为，你就是在默许它发生。 未来的对齐工作，将聚焦于：如何构建更真实、更鲁棒、更透明的评估体系，如何在训练中融入对齐信号，以及如何建立面向社会的治理框架。而这一切，都建立在一个前提之上：我们终于意识到——没有好的评估，就没有真正的对齐。