检索增强感知 Retrieval-Augmented Perception

检索增强感知（Retrieval-Augmented Perception，简称 RAP）插件是由南洋理工大学团队联合武汉大学团队共同于 2025 年 3 月提出，相关研究成果发表于论文「Retrieval-Augmented Perception: High-Resolution Image Perception Meets Visual RAG」，该工作已被 ICML 2025 收录，并获评为 Spotlight 论文。

RAP 是一种无需训练的基于 RAG 技术的高分辨率图像感知插件，旨在提高 MLLMs 在高分辨率图像感知任务中的性能，同时减少计算成本。由此使模型在复杂环境下拥有更强的理解力、上下文感知力和推理能力。实验结果表明， RAP 在多个高分辨率图像基准测试中显著提升了性能，例如 LLaVA-v1.5-13B 在 V* Bench 上性能提升了 43%，在 HR-Bench 上提升了 19% 。