HyperAIHyperAI

Command Palette

Search for a command to run...

多粒度视觉语言预训练:文本与视觉概念的对齐

Yan Zeng Xinsong Zhang Hang Li

摘要

现有的大多数视觉语言预训练方法依赖于通过对象检测提取的以对象为中心的特征,并在提取的特征与文本之间进行细粒度对齐。这些方法在学习多个对象之间的关系时面临挑战。为此,我们提出了一种新的方法,称为X-VLM,用于执行“多粒度视觉语言预训练”。学习多粒度对齐的关键在于根据相关文本定位图像中的视觉概念,并同时将文本与视觉概念对齐,其中对齐具有多粒度特性。实验结果表明,X-VLM能够有效利用所学的多粒度对齐,在许多下游视觉语言任务中表现出色,并且始终优于现有最先进方法。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供