Jarvis Guo Tuney Zheng Yuelin Bai Bo Li Yubo Wang King Zhu Yizhi Li Graham Neubig Wenhu Chen Xiang Yue

要約

オープンソースのマルチモーダル大規模言語モデル（MLLM）は、幅広いマルチモーダルタスクにおいて大きな潜在能力を示している。しかし、それらの推論能力は、従来のインストラクションチューニングデータセットの制約によって限られている。これらのデータセットは、主にVQA、AI2D、ChartQAなどの学術データセットを再利用したものであり、単純なタスクを対象としており、中間的な推論過程を含まず、単語列レベルの回答しか提供しない。こうした課題を解決するため、私たちは、コト（Chain-of-Thought：推論の連鎖）推論を促すために設計された豊富な中間的推論過程を含む大規模なマルチモーダルインストラクションチューニングデータセットを構築する、スケーラブルでコスト効率の高い手法を提案する。本手法では、オープンソースモデルのみを用いて、1200万件のインストラクション-応答ペアを含むデータセットを構築し、多様で推論が要求されるタスクを詳細かつ忠実な推論過程とともにカバーした。実験の結果、このデータセットでMLLMを訓練することで、推論能力が顕著に向上し、MathVerse（+8.1%）、MMMU-Pro（+7%）、MuirBench（+13.3%）などのベンチマークにおいて最先端の性能を達成した。さらに、推論に基づかないタスクのベンチマークにおいても、最大4%の著しい性能向上が確認された。アブレーション研究により、データセット構築プロセスにおいて、リライト（再構成）や自己フィルタリングといった主要な要素の重要性が裏付けられた。