MMPR 多模态推理偏好数据集

MMPR (Multimodal Preference Dataset) 是由上海人工智能实验室、复旦大学、南京大学、香港中文大学、清华大学和商汤科技的研究团队于 2024 年共同发布的一个大规模的多模态偏好数据集，相关论文成果为「Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization」。该数据集包含 75 万无明确正确答案样本和 250 万有明确正确答案样本。样本覆盖了多个领域，如 VQA 、科学、图表、数学、 OCR 和文档，以确保多样性。在构建数据集时，研究者特别注意避免因启发式规则的局限性而导致的误报负响应，特别是在通用 VQA 和文档领域。数据集的设计旨在提高模型在多模态推理任务中的表现，同时避免训练过程中的潜在负面影响。