HyperAIHyperAI

Command Palette

Search for a command to run...

CoDet:共现引导的区域-词汇对齐用于开放词汇对象检测

Ma Chuofan ; Jiang Yi ; Wen Xin ; Yuan Zehuan ; Qi Xiaojuan

摘要

从图像-文本对中提取可靠的区域-词汇对齐对于学习面向开放词汇的对象检测的物体级视觉-语言表示至关重要。现有方法通常依赖于预训练或自训练的视觉-语言模型进行对齐,这些方法容易在定位精度或泛化能力上存在局限性。本文提出了一种新颖的方法——CoDet,该方法通过将区域-词汇对齐重新表述为共现对象发现问题,克服了对预对齐视觉-语言空间的依赖。直观上,通过将带有包含相同概念的字幕的图像分组,对应于该共享概念的对象在组内应表现出较高的共现率。CoDet随后利用视觉相似性来发现这些共现对象,并将其与共享概念对齐。大量实验表明,CoDet在开放词汇检测方面具有优越的性能和令人信服的可扩展性,例如,在扩大视觉主干网络规模后,CoDet在OV-LVIS数据集上分别达到了37.0 APnovelm\text{AP}^m_{\text{novel}}APnovelm和44.7 APallm\text{AP}^m_{\text{all}}APallm,超过了之前的最先进水平(SoTA)4.2 APnovelm\text{AP}^m_{\text{novel}}APnovelm和9.8 APallm\text{AP}^m_{\text{all}}APallm。代码可在https://github.com/CVMI-Lab/CoDet获取


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
CoDet:共现引导的区域-词汇对齐用于开放词汇对象检测 | 论文 | HyperAI超神经