Multi Modal Self Instruct 多模态基准数据集

该数据集由浙江大学、中科院软件研究所、上海科技大学等机构于 2024 年联合推出，相关论文成果为「Multimodal Self-Instruct: Synthetic Abstract Image and Visual Reasoning Instruction Using Language Model」。

数据集共包含 11,193 个带有相关问题的抽象图像，涵盖了仪表板、路线图、图表、表格、流程图、关系图、视觉谜题和 2D 平面图等 8 大类别，此外还有额外的 62,476 条数据用于微调模型。