マルチモーダル自己指示マルチモーダル ベンチマーク データセット

このデータセットは、浙江大学、中国科学院ソフトウェア研究所、上海科学技術大学およびその他の機関によって共同で2024年に開始される予定です。関連する論文結果は「」です。マルチモーダル自己指導: 言語モデルを使用した合成抽象画像と視覚的推論の指導”。

データセットには、ダッシュボード、ロードマップ、チャート、表、フローチャート、関係図、ビジュアル パズル、2D フロア プランなどの 8 つのカテゴリをカバーする、追加の 62,476 項目に加えて、関連する質問を含む合計 11,193 枚の抽象画像が含まれています。データは次の目的で使用されます。モデルを微調整します。