言語モデルにおける多モーダル思考連鎖推論

大規模言語モデル（LLMs）は、思考の鎖（Chain-of-Thought: CoT）プロンプティングを活用することで、複雑な推論において中間的な推論チェーンを生成し、それらを根拠として答えを導き出すことで、印象的な性能を示しています。しかし、既存のCoT研究は主に言語モダリティに焦点を当てています。本研究では、言語（テキスト）と視覚（画像）の両モダリティを取り入れた二段階フレームワークにより、根拠生成と答え導出を分離するマルチモーダル-CoTを提案します。これにより、マルチモーダル情報に基づくより優れた根拠が生成され、答えの導出がその根拠を利用できるようになります。ScienceQAおよびA-OKVQAベンチマークデータセットでの実験結果は、提案手法の有効性を示しています。Multimodal-CoTを使用することで、10億パラメータ未満のモデルでもScienceQAベンチマークで最先端の性能を達成しました。分析によると、Multimodal-CoTは幻覚現象の軽減と収束速度の向上という利点があります。コードは公開されており、以下のURLからアクセスできます: https://github.com/amazon-science/mm-cot.