RLAIF-V 데이터 세트는 다양한 작업과 도메인을 포괄하는 AI가 생성한 다중 모드 선호도 데이터 세트입니다. 이 데이터 세트에는 다중 모드 대규모 언어 모델(MLLM)을 훈련하고 평가하기 위한 44,757개 이상의 고품질 쌍이 포함되어 있습니다. RLAIF-V 데이터 세트는 오픈 소스 대규모 모델을 사용하여 모델 응답의 교란을 해소하는 새로운 접근 방식을 사용하며, 다양한 MLLM의 환각 현상을 줄이기 위해 고품질 피드백 데이터를 제공합니다. 또한 RLAIF-V 데이터 세트는 최초의 엔드투엔드 GPT-4V 수준 MLLM17을 나타내는 MiniCPM-Llama3-V 2.5 모델을 훈련하는 데에도 사용됩니다. RLAIF-V 프로젝트는 연구 커뮤니티에서 코드, 가중치(7B, 12B) 및 데이터를 오픈 소스로 공개하여 사용 및 추가 연구에 활용할 수 있도록 했습니다. RLAIF-V 데이터 세트의 주요 특징은 다음과 같습니다.

1. 고품질 피드백 데이터: 데이터 세트에 사용된 다양한 MLLM을 통해 환각을 효과적으로 감소시켰습니다.
2. 오픈소스: 데이터 세트는 완전히 오픈 소스이므로 연구자들은 자유롭게 접근하여 사용할 수 있습니다.
3. 멀티태스킹 및 멀티도메인: 이 데이터 세트는 광범위한 작업과 도메인을 포괄하여 다양한 선호도 데이터를 제공합니다. RLAIF-V 데이터 세트의 라이선스는 CC BY NC 4.0으로, 비상업적 사용에만 허용되며, 이 데이터 세트를 사용하여 학습한 모델은 연구 목적 이외의 용도로 사용해서는 안 됩니다.

소환

@article{yu2023rlhf,
title={Rlhf-v: Towards trustworthy mllms via behavior alignment from fine-grained correctional human feedback},
author={Yu, Tianyu and Yao, Yuan and Zhang, Haoye and He, Taiwen and Han, Yifeng and Cui, Ganqu and Hu, Jinyi and Liu, Zhiyuan and Zheng, Hai-Tao and Sun, Maosong and others},
journal={arXiv preprint arXiv:2312.00849},
year={2023}
}
@article{yu2024rlaifv,
title={RLAIF-V: Open-Source AI Feedback Leads to Super GPT-4V Trustworthiness},
author={Tianyu Yu and Haoye Zhang and Qiming Li and Qixin Xu and Yuan Yao and Da Chen and Xiaoman Lu and Ganqu Cui and Yunkai Dang and Taiwen He and Xiaocheng Feng and Jun Song and Bo Zheng and Zhiyuan Liu and Tat-Seng Chua and Maosong Sun},
journal={arXiv preprint arXiv:2405.17220},
year={2024},
}
@misc{yu2025minicpmv45cookingefficient,
title={MiniCPM-V 4.5: Cooking Efficient MLLMs via Architecture, Data, and Training Recipe},
author={Tianyu Yu and Zefan Wang and Chongyi Wang and Fuwei Huang and Wenshuo Ma and Zhihui He and Tianchi Cai and Weize Chen and Yuxiang Huang and Yuanqian Zhao and Bokai Xu and Junbo Cui and Yingjing Xu and Liqing Ruan and Luoyuan Zhang and Hanyu Liu and Jingkun Tang and Hongyuan Liu and Qining Guo and Wenhao Hu and Bingxiang He and Jie Zhou and Jie Cai and Ji Qi and Zonghao Guo and Chi Chen and Guoyang Zeng and Yuxuan Li and Ganqu Cui and Ning Ding and Xu Han and Yuan Yao and Zhiyuan Liu and Maosong Sun},
year={2025},
eprint={2509.18154},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/2509.18154},
}