RLAIF-V データセットは、AI によって生成されたマルチモーダルな嗜好データセットで、さまざまなタスクとドメインをカバーします。このデータセットには、マルチモーダル大規模言語モデル (MLLM) のトレーニングと評価のための 44,757 を超える高品質のアライメントが含まれています。 RLAIF-V データセットは、オープンソースの大規模モデルを使用してモデル応答の混乱を解消し、さまざまな MLLM の錯覚現象を軽減する新しいアプローチを通じて高品質のフィードバック データを提供します。 さらに、RLAIF-V データセットは、最初のエンドサイド GPT-4V レベル MLLM17 を表す MiniCPM-Llama3-V 2.5 モデルのトレーニングに使用されます。 RLAIF-V プロジェクトは、研究コミュニティやさらなる研究で使用できるように、コード、重み (7B、12B)、およびデータをオープンソース化しました。 RLAIF-V データセットの主な特徴は次のとおりです。

1. 高品質のフィードバックデータ: さまざまな MLLM の幻覚を効果的に軽減するために使用されるデータセット。
2. オープンソース: データセットは完全にオープンソースであるため、研究者は自由にアクセスして使用できます。
3. マルチタスクとマルチドメイン: このデータセットは幅広いタスクとドメインをカバーしており、多様な嗜好データを提供します。 RLAIF-V データセットのライセンスは CC BY NC 4.0 であり、非営利使用のみが許可されており、このデータセットを使用してトレーニングされたモデルは研究目的以外では使用しないでください。

引用

@article{yu2023rlhf,
title={Rlhf-v: Towards trustworthy mllms via behavior alignment from fine-grained correctional human feedback},
author={Yu, Tianyu and Yao, Yuan and Zhang, Haoye and He, Taiwen and Han, Yifeng and Cui, Ganqu and Hu, Jinyi and Liu, Zhiyuan and Zheng, Hai-Tao and Sun, Maosong and others},
journal={arXiv preprint arXiv:2312.00849},
year={2023}
}
@article{yu2024rlaifv,
title={RLAIF-V: Open-Source AI Feedback Leads to Super GPT-4V Trustworthiness},
author={Tianyu Yu and Haoye Zhang and Qiming Li and Qixin Xu and Yuan Yao and Da Chen and Xiaoman Lu and Ganqu Cui and Yunkai Dang and Taiwen He and Xiaocheng Feng and Jun Song and Bo Zheng and Zhiyuan Liu and Tat-Seng Chua and Maosong Sun},
journal={arXiv preprint arXiv:2405.17220},
year={2024},
}
@misc{yu2025minicpmv45cookingefficient,
title={MiniCPM-V 4.5: Cooking Efficient MLLMs via Architecture, Data, and Training Recipe},
author={Tianyu Yu and Zefan Wang and Chongyi Wang and Fuwei Huang and Wenshuo Ma and Zhihui He and Tianchi Cai and Weize Chen and Yuxiang Huang and Yuanqian Zhao and Bokai Xu and Junbo Cui and Yingjing Xu and Liqing Ruan and Luoyuan Zhang and Hanyu Liu and Jingkun Tang and Hongyuan Liu and Qining Guo and Wenhao Hu and Bingxiang He and Jie Zhou and Jie Cai and Ji Qi and Zonghao Guo and Chi Chen and Guoyang Zeng and Yuxuan Li and Ganqu Cui and Ning Ding and Xu Han and Yuan Yao and Zhiyuan Liu and Maosong Sun},
year={2025},
eprint={2509.18154},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/2509.18154},
}