MIA-DPO (Multi-Image Augmented Direct Preference Optimization) は、上海交通大学、上海人工知能研究所、香港中文大学などの機関によって開発された、大規模視覚言語モデル (LVLM) 用の複数画像拡張優先度調整手法です。 2024年に 2016年に共同提案され、関連する論文結果は「MIA-DPO: 大規模視覚言語モデル向けのマルチイメージ拡張直接優先最適化”。この方法の核心は、単一画像データを複数画像データに拡張し、シーケンス、グリッド コラージュ、ピクチャー イン ピクチャーの 3 つのデータ形式を設計することです。これにより、データ収集とラベル付けのコストが効果的に削減され、拡張性が高くなります。
MIA-DPO の鍵は、アテンション メカニズムを活用して、モデルが誤って焦点を当てた可能性のある拒否された応答を特定してフィルタリングすることで、人間による注釈や追加データに依存せずに選択/拒否のペアを構築することです。実験結果では、MIA-DPO は 5 つのマルチイメージ ベンチマークで良好なパフォーマンスを示し、平均パフォーマンスが 3.0% (LLaVA-v1.5 上) および 4.3% (InternLM-XC2.5 上) 向上しましたが、単一イメージでは理解度が低かったことが示されています。より小さな影響。