HyperAIHyperAI

Command Palette

Search for a command to run...

MIT发布新成果,提升 AI 模型预测解释能力

在医疗诊断等高风险领域,用户需要知晓人工智能模型做出预测的依据,以便判断其可信度。麻省理工学院(MIT)的研究人员开发了一种新方法,旨在提升人工智能模型解释其预测的能力。传统的概念瓶颈模型依赖预先由人类定义的概念(如“棕褐色斑点”)来解释决策,但预设概念可能不相关或细节不足,导致模型准确率下降。 研究人员提出,利用模型在训练过程中已学到的知识,自动提取并转化为人类可理解的概念。该技术通过两种专用机器学习模型协作:首先,稀疏自动编码器从目标模型中提取最相关的特征;随后,多模态大语言模型将这些特征转化为自然语言概念,并标注数据集中的图像。最终,这些提取的概念被构建为概念瓶颈模块,强制原模型仅使用这些学到的概念进行预测。 研究负责人、米兰理工大学博士研究生安东尼奥·德桑蒂斯表示,这种方法相当于“阅读计算机视觉模型的思想”。由于使用了模型自身学到的更精准概念,新方法在预测准确率上优于现有标准概念瓶颈模型,同时提供了更简洁、清晰的解释。在鸟类识别和皮肤病变检测任务中,该方法均取得了最佳表现。 尽管目前模型在可解释性上仍有提升空间,且存在信息泄露的潜在风险,但该技术为增强人工智能的问责制开辟了新途径。研究论文将发表于国际学习表示会议,并获得了意大利多项科研基金及欧盟项目的支持。这一突破不仅推动了可解释人工智能的发展,也为连接符号人工智能和知识图谱搭建了桥梁。

相关链接

MIT发布新成果,提升 AI 模型预测解释能力 | 热门资讯 | HyperAI超神经