HyperAIHyperAI

Command Palette

Search for a command to run...

学习定位物体可提升视觉-LLM的空间推理能力

Kanchana Ranasinghe Satya Narayan Shukla Omid Poursaeed Michael S. Ryoo Tsung-Yu Lin

摘要

将大型语言模型(LLMs)融入视觉领域任务,催生了视觉-语言大模型(V-LLMs),使其在视觉-语言任务中展现出卓越性能,尤其在视觉问答(VQA)任务中表现突出。然而,现有的V-LLMs(如BLIP-2、LLaVA)在空间推理与定位感知方面仍存在明显不足。尽管这些模型能够生成高度描述性且详尽的文本回答,却难以完成诸如区分左右位置等基础空间判断任务。本文探索了基于图像空间坐标的信息指令微调目标,以增强V-LLMs的空间感知能力。我们发现,最优的坐标表示方式、数据高效的指令微调目标,以及伪数据生成策略,能够显著提升V-LLMs的空间理解能力。此外,所提出的模型在图像与视频两个领域的VQA任务中均取得性能提升,有效减少无关幻觉现象,并生成更具上下文语义的物体描述。在涵盖14个不同数据集的5项视觉-语言任务上的实验验证表明,本研究提出的框架实现了显著且一致的性能改进。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供