科学家张智在探索多模态大模型在执行多模态任务时的内部工作原理时，发现了一种分层次的信息流动模式。具体来说，这种模式分为三个主要步骤：首先，模型会将整个图像的全局视觉信息传递到语言表示中；其次，与回答问题相关的特定视觉信息会被进一步传递到语言表示中；最后，综合后的多模态信息会流向问题表示中的输入序列的最后一个位置，以帮助生成最终的预测答案。此外，研究还发现，模型最初生成的答案是以较小的形式产生的，然后将首字母转换为大写形式。这表明，模型的语义处理（内容理解）和语法处理（格式调整）是分开进行的。这一研究表明多模态大模型具有独特的内部工作机制，为未来的模型结构优化和跨模态信息融合提供了理论指导。 张智的研究深入揭示了多模态大模型的内部操作机制，尤其是在模型运行效率方面。研究发现了视觉-语言信息融合的关键层级，有助于优化模型架构，减少冗余计算，提高推理速度。特别是，在视觉问答（VQA）、图像字幕生成等任务上，性能得到了显著提升。对于模型编辑（Model Editing）而言，该成果提供了针对不同模态信息在不同层中作用的深层次理解，有助于开发更精准的多模态信息干预算法，使模型在特定任务或场景下具备更强的适应性。比如，在医学影像分析、自动驾驶及智能监控等领域，可以优化决策机制，确保AI决策过程的可追溯性和公平性。此外，在可解释性领域，这项研究展现了模型内部信息流动的层级结构，提升了多模态AI系统的透明度，促进了学界和业界对更可控、可信的AI模型的开发。 业内人士表示，张智的研究不仅为理解复杂多模态大模型的内部机制开辟了新途径，而且其关于信息流动层级结构的发现，有望成为推动AI领域发展的关键力量之一。通过优化模型的架构和提高其适应能力，研究不仅能够促进现有AI系统的改进，还可能激发新的应用创新。张智的研究团队隶属于国际知名的人工智能实验室，该实验室长期致力于前沿AI技术的研发，此次研究成果也是其实验室多模态AI研究领域的又一重要突破。