Der RLAIF-V-Datensatz ist ein KI-generierter multimodaler Präferenzdatensatz, der eine Vielzahl von Aufgaben und Domänen abdeckt. Der Datensatz enthält über 44.757 hochwertige Paare zum Trainieren und Bewerten multimodaler großer Sprachmodelle (MLLMs). Der RLAIF-V-Datensatz verwendet einen neuartigen Ansatz zur Dekonfundierung von Modellreaktionen mithilfe eines großen Open-Source-Modells und bietet qualitativ hochwertige Feedback-Daten zur Reduzierung des Halluzinationsphänomens verschiedener MLLMs. Darüber hinaus wird der RLAIF-V-Datensatz auch zum Trainieren des MiniCPM-Llama3-V 2.5-Modells verwendet, das das erste End-to-End-MLLM17 auf GPT-4V-Ebene darstellt. Das RLAIF-V-Projekt hat den Code, die Gewichte (7B, 12B) und die Daten zur Verwendung und weiteren Erforschung durch die Forschungsgemeinschaft als Open Source bereitgestellt. Zu den Hauptmerkmalen des RLAIF-V-Datensatzes gehören:

1. Hochwertige Feedback-Daten: Effektive Reduzierung von Halluzinationen durch verschiedene im Datensatz verwendete MLLMs.
2. Open Source: Der Datensatz ist vollständig Open Source, sodass Forscher frei darauf zugreifen und ihn verwenden können.
3. Multitasking und Multidomänen: Der Datensatz deckt ein breites Spektrum an Aufgaben und Domänen ab und bietet vielfältige Präferenzdaten. Die Lizenz des RLAIF-V-Datensatzes lautet CC BY NC 4.0, was nur eine nichtkommerzielle Nutzung erlaubt. Mit diesem Datensatz trainierte Modelle sollten nicht außerhalb von Forschungszwecken verwendet werden.

Zitat

@article{yu2023rlhf,
title={Rlhf-v: Towards trustworthy mllms via behavior alignment from fine-grained correctional human feedback},
author={Yu, Tianyu and Yao, Yuan and Zhang, Haoye and He, Taiwen and Han, Yifeng and Cui, Ganqu and Hu, Jinyi and Liu, Zhiyuan and Zheng, Hai-Tao and Sun, Maosong and others},
journal={arXiv preprint arXiv:2312.00849},
year={2023}
}
@article{yu2024rlaifv,
title={RLAIF-V: Open-Source AI Feedback Leads to Super GPT-4V Trustworthiness},
author={Tianyu Yu and Haoye Zhang and Qiming Li and Qixin Xu and Yuan Yao and Da Chen and Xiaoman Lu and Ganqu Cui and Yunkai Dang and Taiwen He and Xiaocheng Feng and Jun Song and Bo Zheng and Zhiyuan Liu and Tat-Seng Chua and Maosong Sun},
journal={arXiv preprint arXiv:2405.17220},
year={2024},
}
@misc{yu2025minicpmv45cookingefficient,
title={MiniCPM-V 4.5: Cooking Efficient MLLMs via Architecture, Data, and Training Recipe},
author={Tianyu Yu and Zefan Wang and Chongyi Wang and Fuwei Huang and Wenshuo Ma and Zhihui He and Tianchi Cai and Weize Chen and Yuxiang Huang and Yuanqian Zhao and Bokai Xu and Junbo Cui and Yingjing Xu and Liqing Ruan and Luoyuan Zhang and Hanyu Liu and Jingkun Tang and Hongyuan Liu and Qining Guo and Wenhao Hu and Bingxiang He and Jie Zhou and Jie Cai and Ji Qi and Zonghao Guo and Chi Chen and Guoyang Zeng and Yuxuan Li and Ganqu Cui and Ning Ding and Xu Han and Yuan Yao and Zhiyuan Liu and Maosong Sun},
year={2025},
eprint={2509.18154},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/2509.18154},
}