基于对比学习与任务导向的CLIP特征的组合图像检索

给定一个由参考图像和相对描述组成的查询，组合图像检索（Composed Image Retrieval）的目标是检索出在视觉上与参考图像相似，且融合了描述中所表达修改信息的图像。鉴于近期研究已证明大规模视觉-语言预训练（VLP）模型在多种任务中的有效性，本文采用OpenAI CLIP模型的特征来解决该问题。首先，我们基于视觉特征与文本特征的逐元素相加方式，对CLIP的两个编码器进行面向任务的微调。在第二阶段，我们训练一个组合网络（Combiner network），该网络学习融合图像-文本特征，整合双模态信息，并生成用于检索的联合特征表示。在两个训练阶段均采用对比学习（contrastive learning）策略。以原始CLIP特征作为基线，实验结果表明，面向任务的微调以及精心设计的组合网络具有显著效果，在FashionIQ和CIRR这两个广泛使用且具有挑战性的组合图像检索数据集上，优于更复杂的当前最优方法。相关代码与预训练模型已开源，地址为：https://github.com/ABaldrati/CLIP4Cir。