OpenAI承认AI幻觉无法避免,引发行业反思
OpenAI近日发布一份25页的研究报告,坦承“幻觉”问题——即AI编造看似合理实则虚假信息的现象——并非技术缺陷,而是当前AI训练与评估体系中根深蒂固的结构性问题。这一发现被外界视为AI发展史上的一个转折点。 报告由OpenAI的Adam Tauman Kalai团队与佐治亚理工学院研究人员共同完成。他们发现,当前最先进的语言模型之所以频繁“信口开河”,并非因为推理能力不足,而在于其训练方式本身就在鼓励“自信地猜测”。在现有评估体系中,模型若回答“我不知道”,通常会被判定为失败,而即使内容错误,只要表达得足够自信,仍可能获得高分。久而久之,AI学会了用确定性语言掩盖不确定性,从而形成“幻觉”倾向。 这揭示了一个被长期忽视的深层矛盾:我们要求AI在所有问题上给出答案,却从未真正训练它识别自己能力的边界。当人类面对未知会说“我不确定”,而AI却被迫“假装知道”,这种系统性偏差导致其在医疗、法律、新闻等高风险领域极易产生误导性输出。 更令人担忧的是,这种幻觉并非随机发生,而是高度连贯、逻辑自洽,极具迷惑性。报告指出,目前的评估基准(benchmark)本质上鼓励模型“说得像真的”,而非“说对的”。因此,即便模型在测试中表现优异,其可靠性仍可能极低。 这一坦白标志着AI界正从“追求性能”转向“正视局限”。未来的发展方向或将不再是盲目提升模型规模,而是重构训练机制,让AI学会承认无知,建立可信赖的不确定性表达能力。否则,再强大的AI,也可能在关键时刻“一本正经地胡说八道”。
