Jarvis Guo Tuney Zheng Yuelin Bai Bo Li Yubo Wang King Zhu Yizhi Li Graham Neubig Wenhu Chen Xiang Yue

摘要

开源多模态大语言模型（MLLMs）在众多多模态任务中展现出巨大的潜力。然而，其推理能力仍受限于现有的指令微调数据集，这些数据集主要源自学术数据集（如VQA、AI2D和ChartQA）的改造与再利用。这些数据集针对的是较为简单的任务，且仅提供词元级别的答案，缺乏中间推理过程。为应对上述挑战，我们提出一种可扩展且成本低廉的方法，构建大规模、富含中间推理链的多模态指令微调数据集，旨在有效激发模型的思维链（CoT）推理能力。仅使用开源模型，我们构建了一个包含1200万条指令-响应对的数据集，覆盖多样且高度依赖推理的任务，并提供详尽、准确的中间推理过程。实验结果表明，基于该数据集训练的MLLM在多个基准测试中显著提升了推理能力，达到当前最优性能：在MathVerse上提升8.1%，MMMU-Pro上提升7%，MuirBench上提升13.3%。此外，模型在非推理类基准测试中也实现了最高达4%的性能提升。消融实验进一步验证了数据集构建过程中关键组件（如重写与自过滤）的重要性。