该数据集为上海交通大学发布的多模态基准测试 MULTI ，旨在评测多模态大模型在理解复杂的表格和图像、以及进行长文本推理的能力。该测试提供多模态输入，并要求回答是精确的或开放式的，反映了现实生活中的考试风格。 MULTI 包含逾 18,000 个问题，涵盖从公式推导到图像分析及跨模态推理的多样化任务。

研究团队还创建了 MULTI-Elite，这是一个精心挑选的包含 500 个问题的难题子集，以及 MULTI-Extend，包含超过 4,500 个外部知识上下文的数据集。 MULTI 不仅作为一个稳健的评测平台，也为专家级 AI 的发展指明了方向。