MM-RLHF (人間のフィードバックからのマルチモーダル強化学習) は、高品質で細粒度のマルチモーダル データセットです。MM-RLHF: マルチモーダル LLM アライメントの次のステップ「」は、中国科学院自動化研究所（CASIA）によって2025年にarXivで初めて公開されました。このデータセットは、マルチモーダル大規模言語モデル (MLLM) のアライメント研究を促進し、実際のアプリケーションにおけるモデルの真実性、安全性、および人間の好みとのアライメントの問題に対処することを目的としています。

このデータセットには、画像理解、ビデオ分析、マルチモーダル セキュリティの 3 つの領域をカバーする、きめ細かく手動で注釈が付けられた嗜好比較データ 120,000 組が含まれています。データ量は既存のリソースをはるかに超えており、100,000 を超えるマルチモーダル タスク インスタンスをカバーします。各データは 50 人以上の注釈者によって慎重に採点および解釈されており、データの品質と粒度の高さが保証されています。