基于预训练视觉-语言模型的实际图像检索

我们扩展了组合图像检索的任务，其中输入查询由一张图像和一段简短的文字描述组成，文字描述说明了如何修改该图像。现有的方法仅应用于狭窄领域的非复杂图像，如时尚产品，这限制了在丰富图像和语言背景下对深入视觉推理的研究范围。为了解决这一问题，我们收集了“真实场景组合图像检索”（CIRR）数据集，该数据集包含超过36,000对来自众包的开放领域图像及其由人类生成的修改文本。为了将现有方法扩展到开放领域，我们提出了CIRPLANT模型，这是一种基于变压器的模型，利用丰富的预训练视觉-语言（V&L）知识，在自然语言条件下修改视觉特征。随后通过最近邻查找在修改后的特征上进行检索。我们展示了这种相对简单的架构在开放领域图像上的表现优于现有方法，同时在现有的狭窄数据集（如时尚产品）上达到了最先进的精度。随着CIRR数据集的发布，我们相信这项工作将激发对组合图像检索的进一步研究。