中国科学家证实多模态大模型可自发形成类人物体概念表征

近期，中国科学院自动化研究所神经计算与脑机交互（NeuBCI）课题组与中国科学院脑科学与智能技术卓越创新中心联合团队公布了一项新的科研成果，首次证实了多模态大语言模型（MLLMs）能够自发形成与人类高度相似的物体概念表征系统。研究发表在顶级期刊《自然·机器智能》上，标志着人工智能领域从简单的“机器识别”向“机器理解”的跨越式进步。 在这项研究中，团队通过行为实验与神经影像分析的方式，探讨了大语言模型是否能够在语言和多模态数据中发展出类似人类的物体概念表征。研究采用了“三选一异类识别任务”，即让大模型和人类从三个不同类型的物体概念中选择最不相似的一个。通过对超过470万组选择数据的分析，研究者们构建了AI大模型的“概念地图”，并从中提取出66个具有明确语义标签的“心智维度”。 研究发现，多模态大模型，如Gemini_Pro_Vision和Qwen2_VL，在行为选择模式上与人类表现出更高的吻合度。这些“心智维度”不仅高度可解释，还与大脑特定部位的活动模式显著相关。例如，大脑中的FFA区域主要用于处理人脸信息，而PPA区域则与场景处理有关。MLLMs在这些维度上的表现接近人类，表明它们内部存在一种类似人类认知的机制，而不是简单地进行数据匹配和重复。 此外，研究还揭示了人类和大模型在决策过程中使用的依据有所不同。人类在做出选择时，更倾向于综合视觉特征和语义信息；而大模型则更多依赖于语义标签和抽象概念。这一发现为未来的AI研究提供了新的方向，帮助科学家们更好地理解如何设计更接近人类认知方式的AI系统。 论文第一作者为中国科学院自动化所的杜长德副研究员，通讯作者为何晖光研究员。其他重要合作者包括脑智卓越中心的常乐研究员等。该研究受到了中国科学院、国家自然科学基金和北京市自然科学基金的大力支持，展现了我国在人工智能认知科学领域的领先水平。 业内专家对这一研究给予高度评价，认为这是AI领域的一项重大突破，不仅推进了AI从单一识别向多维度理解的发展，也为构建更加拟人化的智能系统奠定了理论基础。中国科学院自动化研究所是国内领先的科研机构之一，长期致力于人工智能和脑机交互的研究，此次成果再次展示了其在多学科交叉研究方面的强大实力。