AI自主标记存疑答案 提升模型可信度

近日，加州大学河滨分校计算机科学家Het Patel团队在预印本平台arXiv发表最新研究，揭示大型语言模型中置信度与正确性的内在脱钩现象。研究指出，传统认知中模型高置信度往往对应高准确率，但实际二者由模型内部不同的数学特征独立驱动。通过对Meta的Llama-3.1-8B与Google的Gemma-2-9B模型进行稀疏自编码器分析，研究团队精准定位了三类核心内部特征：仅关联不确定性的特征、仅关联错误回答的特征，以及同时关联不确定性与错误性的混淆特征。 实验表明，直接干预模型已训练好的内部参数无需重新训练即可显著改变其输出行为。抑制混淆特征不仅可将模型不确定性降低逾75%，还能在多项基准测试中提升高达1.1%的准确率。更具突破意义的是，研究团队利用该内部信号构建预警机制，使模型能够主动识别并拒绝高风险提问。结果显示，该策略将系统最终准确率从62%大幅跃升至81%，远优于传统拒绝回答选项的效果。 该发现打破了人工智能信任度评估的固有假设，为开发者优化大模型提供了无需重训的轻量化干预方案。未来，此类内部特征调控技术有望扩展至更多人工智能行为管理场景，推动新一代高可靠、可自我校验的系统落地应用。