検索拡張知覚

検索拡張知覚（RAP）プラグインは、2025年3月に南洋理工大学と武漢大学のチームによって提案されました。関連する研究結果は論文「検索拡張知覚：高解像度画像知覚と視覚的RAGの融合「この研究はICML 2025に収録され、スポットライト論文として評価されました。」

RAPは、RAG技術をベースとした、学習を必要としない高解像度画像認識プラグインです。計算コストを削減しながら、高解像度画像認識タスクにおけるMLLMの性能向上を目指しています。これにより、モデルは複雑な環境下でもより強力な理解力、文脈認識能力、そして推論能力を備えることができます。実験結果では、RAPが複数の高解像度画像ベンチマークにおいて性能を大幅に向上させることが示されています。例えば、LLaVA-v1.5-13Bは、V* Benchで43%、HR-Benchで19%の性能向上を達成しました。