RLHF-V：微細な修正型人間フィードバックによる行動整合を通じた信頼性の高いMLLMの実現

マルチモーダル大規模言語モデル（MLLM）は、近年、マルチモーダル理解、推論、対話において優れた能力を示している。しかし、既存のMLLMは、関連する画像に基づかない事実に根ざさないテキストを生成するという深刻な幻覚（hallucination）問題を抱えており、これにより実世界（特に高リスクな場面）での応用において信頼性が損なわれ、実用性に欠ける状況にある。この課題に対処するため、本研究では、細粒度な修正型人間フィードバックによる行動整合性を強化する「RLHF-V」を提案する。具体的には、RLHF-Vは幻覚に対して段階レベルでの人間の修正フィードバックを収集し、そのフィードバックに対して高密度な直接的偏好最適化（dense direct preference optimization）を実施する。自動評価および人間評価を含む5つのベンチマークにおける包括的な実験の結果、RLHF-Vはデータおよび計算効率に優れながら、MLLMの信頼性を著しく向上させることを実証した。特に、1,400件のアノテーションデータを用いるだけで、ベースモデルの幻覚率を34.8%まで低下させ、10,000件のアノテーションデータで学習された同時期のLLaVA-RLHFを上回る性能を達成した。最終モデルは、オープンソースMLLMの中で信頼性の面で最先端の性能を達成しており、過度な一般化に起因する幻覚を防止する点で、GPT-4Vよりも優れたロバスト性を示した。本研究のコード、モデル、データは、https://github.com/RLHF-V/RLHF-V にてオープンソースとして公開している。