学习定制的视觉模型与检索增强的知识

图像-文本对比学习模型（如CLIP）已经展示了强大的任务迁移能力。这些视觉模型的高泛化性和可用性是通过大规模网络数据收集过程以确保广泛的概念覆盖范围，随后进行昂贵的预训练以将所有知识融入模型权重来实现的。作为替代方案，我们提出了REACT（检索增强定制化），一种框架，用于获取相关网络知识以构建目标领域的定制化视觉模型。我们从大规模网络数据库中检索出最相关的图像-文本对（约占CLIP预训练数据的3%）作为外部知识，并提出仅训练新的模块化块而冻结所有原始权重来定制模型。通过在分类、检索、检测和分割任务上的大量实验，包括零样本、少样本和全样本设置，验证了REACT的有效性。特别是在零样本分类任务上，与CLIP相比，REACT在ImageNet上实现了高达5.4%的性能提升，在ELEVATER基准测试（包含20个数据集）上实现了3.7%的性能提升。