基于语言的视觉方法实现无需训练的组合图像检索

给定一张图像和一个目标修改（例如，一张埃菲尔铁塔的图像和文本“没有人群且在夜间”），组合图像检索（CIR）旨在从数据库中检索出相关的目标图像。虽然监督方法依赖于标注三元组，这非常耗时且成本高昂（即查询图像、文本修改和目标图像），但最近的研究通过使用大规模视觉-语言模型（VLMs）绕过了这一需求，实现了零样本组合图像检索（ZS-CIR）。然而，当前最先进的 ZS-CIR 方法仍然需要在大量图像-文本对上训练特定任务的定制模型。在这项工作中，我们提出了一种无需训练的方法来解决 CIR 问题，即通过我们的基于视觉-语言的组合图像检索（CIReVL）。这是一种简单、易于理解且可扩展的管道，能够有效地将大规模 VLMs 与大规模语言模型（LLMs）重新结合。具体而言，我们使用预训练的生成式 VLM 为参考图像生成描述，并要求 LLM 根据文本目标修改重新组合这些描述，以便后续通过如 CLIP 等模型进行检索。这种方法实现了模块化的语言推理。我们在四个 ZS-CIR 基准测试中发现，该方法具有竞争力，在某些方面达到了最先进的性能——优于监督方法。此外，CIReVL 的模块化特性提供了简单的可扩展性而无需重新训练，使我们能够研究 ZS-CIR 的扩展规律和瓶颈，并轻松实现部分结果比之前报告的结果提高一倍以上。最后，我们展示了 CIReVL 通过在语言域内以模块化方式组合图像和文本，使得 CIR 更加易于人类理解，并且可以事后调整失败案例。代码将在论文被接受后发布。