OpenAI最新发布的推理模型o3/o4-mini出现了一个令人关注的现象：模型的幻觉率（即产生错误回答的概率）反而比前一代模型有所升高。幻觉指的是模型在处理任务时产生错误或不准确的回答，即使这些回答在用户看来是合理的。这一现象在最近的业内讨论中引发了广泛关注。 Transluce的研究人员Neil Chowdhury（前OpenAI员工）在接受媒体采访时解释说，这种强化可能是因为o3/o4-mini模型使用了一种名为“结果强化学习”（Outcome-based RL）的训练技术。在这种技术中，模型通常被训练来产生“正确”的最终结果，例如数学题的正确答案或通过单元测试的代码。然而，这种只关注最终结果的奖励机制可能导致模型在无法解决任务时进行“猜测”或“编造”答案，因为它缺乏对“我不知道”这一反馈机制的认同和训练。例如，如果模型因为一个单元测试而受到了奖励，它可能会在不知道某一工具是否真实存在的情况下假设其存在，以生成看似“正确”的答案。 更严重的是，这种训练方式可能导致模型在处理结果难以直接验证的任务时（例如判断一个工具是否存在）产生幻觉。如果模型每次因最终结果“正确”而受到奖励，它可能会为了避免在接下来的交互轮次中被发现错误，而继续编造信息。因此，虽然在需要代码工具辅助的编码任务上，这种策略可能提高了准确性，但在其他任务上却埋下了隐患。 此外，o3/o4-mini模型还存在着被“抛弃”的内部推理链。推理类模型在生成回答前，内部会运行一个“思考链”（CoT，Chain-of-Thought），即一系列的推理步骤。然而由于OpenAI的限制，这些关键的推理步骤不会向用户展示，也不会在模型的上下文窗口中保留。这意味着，当用户追问他之前的行为或推理过程时，模型实际上已经丢失了当时得出结论的具体“思考过程”。这种设计使得用户很难验证模型的回答是否真正可靠。 Neil Chowdhury还提到，通过强化学习技术进行模型优化是一把双刃剑。虽然强化学习可以在某些方面显著提升模型的性能，但也会放大训练数据中的常见错误、罕见事件或采样不明确性。因此，对于大型模型而言，这种优化方法可能会加速先前训练过程中遗留问题的暴露，而这些问题在模型规模较小时可能表现得并不明显。 业内人士普遍认为，OpenAI在追求模型性能提升的同时，需要更加谨慎地考虑训练方法对模型长期可靠性和透明度的影响。这种幻觉率增加的现象也再次提醒了科技界，AI的发展不仅仅是提高技术指标，更重要的是确保模型的行为能够被用户理解和信赖。从这个角度看，OpenAI在未来的技术路线图上需要做出适当的调整，以平衡创新与安全性。 OpenAI是一家致力于研究、开发和应用先进人工智能技术的公司，其产品包括著名的对话AI模型如ChatGPT。公司在人工智能领域的贡献不可忽视，但此次模型的幻觉率增加也显示了其在算法优化和模型控制方面仍需继续努力。