学习定位物体可提升视觉-LLM的空间推理能力

将大型语言模型（LLMs）融入视觉领域任务，催生了视觉-语言大模型（V-LLMs），使其在视觉-语言任务中展现出卓越性能，尤其在视觉问答（VQA）任务中表现突出。然而，现有的V-LLMs（如BLIP-2、LLaVA）在空间推理与定位感知方面仍存在明显不足。尽管这些模型能够生成高度描述性且详尽的文本回答，却难以完成诸如区分左右位置等基础空间判断任务。本文探索了基于图像空间坐标的信息指令微调目标，以增强V-LLMs的空间感知能力。我们发现，最优的坐标表示方式、数据高效的指令微调目标，以及伪数据生成策略，能够显著提升V-LLMs的空间理解能力。此外，所提出的模型在图像与视频两个领域的VQA任务中均取得性能提升，有效减少无关幻觉现象，并生成更具上下文语义的物体描述。在涵盖14个不同数据集的5项视觉-语言任务上的实验验证表明，本研究提出的框架实现了显著且一致的性能改进。