Zebra-CoTは、2025年にコロンビア大学、メリーランド大学、南カリフォルニア大学、ニューヨーク大学が共同で公開した視覚言語推論データセットです。関連する論文の結果は「Zebra-CoT: インターリーブ型視覚言語推論のためのデータセット「」は、画像とテキストの論理的関係をより深く理解するためのモデルを促進することを目的としており、視覚的な質問応答、画像の説明生成などの分野で広く使用され、推論能力と精度の向上に役立ちます。

このデータセットには、科学的推論、2D視覚推論、3D視覚推論、ビジュアルロジックおよび戦略ゲームの4つの主要カテゴリをカバーする182,384個のサンプルが含まれています。これらのサンプルには、論理的に一貫性のあるテキストと画像の推論トレースがインターリーブされています。

データセットの構造:

• 問題の説明: 問題のテキストによる説明。
• 質問画像: 質問の性質に応じて、0 個以上の画像が付随する場合があります。
• 推論画像: 問題解決プロセスの中間推論ステップをサポートする視覚的な補助が少なくとも 1 つあります。
• テキスト推論トラック: 一連のテキストの反映と、それに対応する視覚的なスケッチまたは図表のプレースホルダー。
• 最終的な答え: 問題の解決策。