HyperAIHyperAI

Command Palette

Search for a command to run...

OpenAI 揭秘语言模型幻觉背后的真相

OpenAI研究人员最新发现:语言模型“幻觉”根源在于训练机制 尽管自OpenAI发布ChatGPT已过去三年,但AI模型“胡说八道”(即幻觉)问题仍未根本解决,严重制约了其在医疗、法律、金融等关键领域的实际应用。近日,OpenAI发布了一篇题为《为什么语言模型会幻觉》的重磅研究论文,首次系统揭示了这一顽疾的本质原因。 研究指出,语言模型产生幻觉的根本原因在于:当前的标准训练与评估流程,本质上在“奖励猜测”,而非鼓励模型承认不确定性。换句话说,模型在训练中被反复教导“必须给出答案”,哪怕它并不确定。这种机制类似于学生在考试中面对不会的题目时,被迫随机选择一个选项——只要选了,就有机会得分;而如果选择“不知道”,则直接失分。 因此,模型逐渐形成一种“宁可瞎猜也不认输”的行为模式。即使面对完全陌生的问题,它也会强行生成看似合理但实际错误的内容,以满足训练目标中“提高正确率”的要求。这种“猜对即奖励,认错即惩罚”的机制,正是幻觉的深层根源。 论文的突破性在于,它不仅揭示了问题本质,还提出了解决路径:通过调整训练与评估方式,让模型在不确定时更倾向于表达“我不知道”,而非强行编造。例如,引入“不确定性评分”机制,或在训练中对“拒绝回答”行为给予正向反馈。 这一发现为AI可靠性提升提供了全新方向。若能成功实施,有望显著降低幻觉率,使AI真正具备在高风险场景中被信任的能力。这也意味着,通往可信AI的“王冠”——即真正能融入经济核心流程的智能系统——正逐渐清晰可见。

相关链接