麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员发现，当前最先进的人工智能推理模型存在一个普遍缺陷：无论答案正确与否，它们都表现出毫无保留的过度自信。这一现象源于传统的强化学习方法只奖励正确结果，而惩罚错误结果，却忽略了两者之间的中间状态。这导致模型即便在猜测时也会表现得像拥有确凿证据一样，从而埋下安全隐患。 针对这一问题，研究团队提出了一种名为“校准奖励强化学习（RLCR）”的新方法。该方法通过在奖励函数中加入布里尔分数（Brier score），强制模型在提供答案的同时输出置信度评分。算法会对“自信却错误”和“过度犹豫的正确”回答同时进行惩罚，促使模型学会在不确定时承认“我不确定”，在确定时则高置信度回答。 实验结果显示，RLCR 在多个基准测试中将模型的校准误差降低了高达 90%，且在不牺牲准确率的情况下，甚至在未见过的任务中提升了性能。相比之下，传统的强化学习不仅未能帮助校准，反而加剧了模型的过度自信。此外，研究团队证明，利用模型生成的置信度评分来筛选答案或在投票中加权，能显著提升系统的最终准确率和可靠性。 该研究强调了模型自我反思能力的重要性，即对不确定性本身的推理包含了有价值的信息。这项工作不仅揭示了现有 AI 训练方法的盲点，更为医疗、法律、金融等高风险领域应用 AI 提供了更可靠的决策依据。相关论文将于近期在机器学习代表国际会议上发表。