Byung-Kwan Lee Chae Won Kim Beomchan Park Yong Man Ro

摘要

大型语言与视觉模型（LLVMs）的快速发展，得益于视觉指令微调技术的进步。近期，开源的LLVMs通过构建高质量的视觉指令微调数据集，并引入额外的视觉编码器或多模态计算机视觉模型，有效缩小了与强大闭源LLVMs之间的性能差距。这些进展主要归因于实现多样化能力所依赖的多维度信息，包括基础的图像理解能力、关于常识性与非对象概念（如图表、示意图、符号、标志及数学问题）的现实世界知识，以及解决复杂问题所需的分步推理过程。基于这些多维度信息，我们提出了一种新型高效LLVM——基于Mamba的推理路径遍历模型（Meteor），该模型通过利用多维度推理路径，显著提升模型的理解与回答能力。为有效嵌入包含丰富信息的长篇推理过程，我们采用Mamba架构，其具备线性时间复杂度的序列数据处理能力。我们引入“推理路径遍历”这一新概念，以实现推理信息的高效嵌入。随后，基于主干多模态语言模型（MLM）在推理信息的辅助下进行训练，以生成准确答案。通过上述方法，Meteor在多个需具备多样化能力的评估基准上，显著提升了视觉语言任务的性能，且无需增加模型规模，也未使用额外的视觉编码器或计算机视觉模型。