MM-RLHF (Multimodal Reinforcement Learning from Human Feedback) 是一个高质量、细粒度的多模态数据集，相关论文成果为「MM-RLHF: The Next Step Forward in Multimodal LLM Alignment」，由中国科学院自动化研究所 (CASIA) 于 2025 年首次发布在 arXiv 。该数据集旨在推动多模态大语言模型 (MLLM) 的对齐研究，解决模型在实际应用中的真实性 (truthfulness) 、安全性 (safety) 以及与人类偏好的对齐问题。

该数据集包含 12 万对细粒度、人工注释的偏好比较数据，覆盖图像理解、视频分析和多模态安全三个领域。数据量远超现有资源，涵盖了 10 万多条多模态任务实例。每条数据都经过 50 多位标注员的细致评分和解释，确保了数据的高质量和高粒度。