HyperAI超神经

ReasonMap 交通图推理基准数据集

日期

24 days ago

大小

4.89 GB

机构

National University of Singapore
华中科技大学
浙江大学

发布地址

huggingface.co

该数据集由西湖大学、新加坡国立大学、浙江大学、华中科技大学的团队,于 2025 年提出的一个全新的评测基准。相关论文成果为:「Can MLLMs Guide Me Home? A Benchmark Study on Fine-Grained Visual Reasoning from Transit Maps」,ReasonMap 更强调图像中的空间关系和路线推理,是首个聚焦于高分辨率交通图(主要为地铁图)的多模态推理评测基准,专为评估大模型在理解图像中细粒度的结构化空间信息方面的能力而设计。

数据集特点:

  • 高分辨率挑战:数据集中每张地图图像平均分辨率高达 5839 × 5449,远高于现有视觉推理任务,对模型的图像编码能力提出更高要求。
  • 难度感知设计:图像设置了难度标签,保证问答对在不同难度层级中的均衡分布,帮助更全面地评估模型能力。
  • 多维度评估体系:不仅考察模型回答的准确性,还对模型路线的质量包含路径合理性和换乘策略等角度进行细粒度评估。
  • 贴近真实使用场景:任务直接基于图像推理,不依赖结构化中间件,更接近人类使用地图时的思维方式。
数据集框架图
ReasonMap.torrent
做种 1正在下载 0已完成 4总下载次数 6
  • ReasonMap/
    • README.md
      2.02 KB
    • README.txt
      4.04 KB
      • data/
        • ReasonMap.zip
          4.89 GB