MMPR 多模态推理偏好数据集

日期

24 天前

大小

29.29 GB

机构

上海人工智能实验室
复旦大学

发布地址

github.com

MMPR (Multimodal Preference Dataset) 是由上海人工智能实验室、复旦大学、南京大学、香港中文大学、清华大学和商汤科技的研究团队于 2024 年共同发布的一个大规模的多模态偏好数据集,相关论文成果为「Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization」。该数据集包含 75 万无明确正确答案样本和 250 万有明确正确答案样本。样本覆盖了多个领域,如 VQA 、科学、图表、数学、 OCR 和文档,以确保多样性。在构建数据集时,研究者特别注意避免因启发式规则的局限性而导致的误报负响应,特别是在通用 VQA 和文档领域。数据集的设计旨在提高模型在多模态推理任务中的表现,同时避免训练过程中的潜在负面影响。

MMPR 中的数据示例。对于具有明确正确答案的指令,研究团队提出了一个基于正确性的流程,该流程采样多个解决方案,并将那些具有正确答案的视为选择响应,将那些具有错误答案的视为拒绝响应。对于没有明确正确答案的指令,研究团队提出使用 DropoutNTP 来生成拒绝响应。选择响应和拒绝响应之间的差异用斜体文本强调。红色高光表示错误的响应。

MMPR-OpenGVLab.torrent

做种 1

下载中 0

已完成 3

总下载 10

  • MMPR-OpenGVLab/
    • README.md
      2.12 KB
    • README.txt
      4.25 KB
      • data/
        • MMPR.zip
          14.63 GB
          • MMPR/
            • README.md
              14.63 GB
            • annotations.zip
              16.03 GB
            • images.zip
              29.29 GB
            • meta.json
              29.29 GB