SPIQA 多模态科学论文问答数据集

该数据集由 Google Research 和霍普金斯大学的研究团队于 2024 年推出，相关论文成果为「SPIQA: A Dataset for Multimodal Question Answering on Scientific Papers」。

研究背景

在长篇科学研究文章中寻找问题的答案是一个重要的研究领域，它可以帮助读者快速解决他们的疑问。然而，现有的基于科学论文的问答 (QA) 数据集规模有限，并且仅关注文本内容。为了解决这一限制，研究团队推出了 SPIQA（科学论文图像问答）。

数据集概述

这是第一个专门设计用于解释计算机科学各个领域科学研究文章中复杂图形和表格的大型 QA 数据集。利用多模态大型语言模型 (MLLM) 的专业知识和理解图形的能力。研究团队设计了一个信息搜索任务，涉及多个图像，涵盖各种图表、表格、示意图和结果可视化，采用自动和手动管理来创建数据集。 SPIQA 包含 270K 个问题，分为训练、验证和三个不同的评估部分。通过对 12 个著名的基础模型进行大量实验，团队评估了当前多模态系统理解研究文章细微方面的能力。