L'ensemble de données RLAIF-V est un ensemble de données de préférences multimodales généré par l'IA qui couvre une variété de tâches et de domaines. L'ensemble de données contient plus de 44 757 paires de haute qualité pour la formation et l'évaluation de modèles linguistiques multimodaux de grande taille (MLLM). L'ensemble de données RLAIF-V utilise une nouvelle approche pour déconfondre les réponses du modèle à l'aide d'un grand modèle open source et fournit des données de rétroaction de haute qualité pour réduire le phénomène d'hallucination de différents MLLM. De plus, l'ensemble de données RLAIF-V est également utilisé pour former le modèle MiniCPM-Llama3-V 2.5, qui représente le premier MLLM17 de niveau GPT-4V de bout en bout. Le projet RLAIF-V a ouvert le code, les poids (7B, 12B) et les données pour une utilisation et des recherches plus poussées par la communauté de recherche. Les principales caractéristiques de l'ensemble de données RLAIF-V comprennent :

1. Données de rétroaction de haute qualité:Réduction efficace des hallucinations par différents MLLM utilisés dans l'ensemble de données.
2. Open Source:L'ensemble de données est entièrement open source, ce qui permet aux chercheurs d'y accéder et de l'utiliser librement.
3. Multi-tâches et multi-domaines:L'ensemble de données couvre un large éventail de tâches et de domaines, fournissant des données de préférences diverses. La licence de l'ensemble de données RLAIF-V est CC BY NC 4.0, ce qui autorise uniquement une utilisation non commerciale, et les modèles formés à l'aide de cet ensemble de données ne doivent pas être utilisés en dehors des fins de recherche.

Citation

@article{yu2023rlhf,
title={Rlhf-v: Towards trustworthy mllms via behavior alignment from fine-grained correctional human feedback},
author={Yu, Tianyu and Yao, Yuan and Zhang, Haoye and He, Taiwen and Han, Yifeng and Cui, Ganqu and Hu, Jinyi and Liu, Zhiyuan and Zheng, Hai-Tao and Sun, Maosong and others},
journal={arXiv preprint arXiv:2312.00849},
year={2023}
}
@article{yu2024rlaifv,
title={RLAIF-V: Open-Source AI Feedback Leads to Super GPT-4V Trustworthiness},
author={Tianyu Yu and Haoye Zhang and Qiming Li and Qixin Xu and Yuan Yao and Da Chen and Xiaoman Lu and Ganqu Cui and Yunkai Dang and Taiwen He and Xiaocheng Feng and Jun Song and Bo Zheng and Zhiyuan Liu and Tat-Seng Chua and Maosong Sun},
journal={arXiv preprint arXiv:2405.17220},
year={2024},
}
@misc{yu2025minicpmv45cookingefficient,
title={MiniCPM-V 4.5: Cooking Efficient MLLMs via Architecture, Data, and Training Recipe},
author={Tianyu Yu and Zefan Wang and Chongyi Wang and Fuwei Huang and Wenshuo Ma and Zhihui He and Tianchi Cai and Weize Chen and Yuxiang Huang and Yuanqian Zhao and Bokai Xu and Junbo Cui and Yingjing Xu and Liqing Ruan and Luoyuan Zhang and Hanyu Liu and Jingkun Tang and Hongyuan Liu and Qining Guo and Wenhao Hu and Bingxiang He and Jie Zhou and Jie Cai and Ji Qi and Zonghao Guo and Chi Chen and Guoyang Zeng and Yuxuan Li and Ganqu Cui and Ning Ding and Xu Han and Yuan Yao and Zhiyuan Liu and Maosong Sun},
year={2025},
eprint={2509.18154},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/2509.18154},
}