CLIM：用于区域表征的对比语言-图像拼贴

从大规模或开放词汇表中准确检测目标，需要在区域表示上实现视觉与语言的对齐。然而，通过获取带有文本标签或描述的高质量边界框标注来学习这种区域-文本对齐，成本高昂且难以实现。相比之下，收集图像-文本配对数据更为简便，但缺乏精确的目标位置信息，难以将图像区域与文本内容准确关联。为此，本文提出一种名为对比图像拼贴（Contrastive Language-Image Mosaic, CLIM）的新方法，能够高效利用大规模图像-文本对实现区域与文本表示的对齐。CLIM 将多张图像拼合成一张拼贴图像，并将每张原始图像视为一个“伪区域”（pseudo region）。通过提取每个伪区域的特征，并利用对比损失（contrastive loss）训练模型使其与对应文本嵌入相似，而与其他文本嵌入相异，从而在无需昂贵边界框标注的情况下，实现区域与文本的有效对齐。作为一种通用性强的方法，CLIM 能够持续提升多种依赖图像描述监督的开放词汇目标检测方法的性能。此外，CLIM 还能有效增强视觉-语言模型的区域表示能力，为开放词汇目标检测器提供更强的特征骨干网络。实验结果表明，在 OV-COCO 和 OV-LVIS 两个基准测试上，CLIM 均显著提升了各类基线开放词汇目标检测模型的性能。代码已开源，地址为：https://github.com/wusize/CLIM。