CoDet：共现引导的区域-词汇对齐用于开放词汇对象检测

从图像-文本对中提取可靠的区域-词汇对齐对于学习面向开放词汇的对象检测的物体级视觉-语言表示至关重要。现有方法通常依赖于预训练或自训练的视觉-语言模型进行对齐，这些方法容易在定位精度或泛化能力上存在局限性。本文提出了一种新颖的方法——CoDet，该方法通过将区域-词汇对齐重新表述为共现对象发现问题，克服了对预对齐视觉-语言空间的依赖。直观上，通过将带有包含相同概念的字幕的图像分组，对应于该共享概念的对象在组内应表现出较高的共现率。CoDet随后利用视觉相似性来发现这些共现对象，并将其与共享概念对齐。大量实验表明，CoDet在开放词汇检测方面具有优越的性能和令人信服的可扩展性，例如，在扩大视觉主干网络规模后，CoDet在OV-LVIS数据集上分别达到了37.0 $\text{AP}^m_{\text{novel}}$和44.7 $\text{AP}^m_{\text{all}}$，超过了之前的最先进水平（SoTA）4.2 $\text{AP}^m_{\text{novel}}$和9.8 $\text{AP}^m_{\text{all}}$。代码可在https://github.com/CVMI-Lab/CoDet获取。