摘要
我们针对文本反馈下的图像检索任务展开研究，该任务通过结合参考图像与修饰文本，以定位目标图像。本文重点在于设计一种图像-文本组合器（image-text compositor），即通过整合多模态输入，生成与目标图像特征相似的表示。在所提出的算法——内容-风格调制（Content-Style Modulation, CoSMo）中，我们基于深度神经网络引入两个核心模块：内容调制器与风格调制器。内容调制器在对参考图像进行风格归一化后，对其特征图执行局部更新，并采用解耦的多模态非局部模块实现期望的内容修改。随后，风格调制器将全局风格信息重新注入到已更新的特征中。本文深入阐述了算法的设计思路与关键决策，并在多个图像-文本检索基准测试中验证了其卓越的性能表现。相关代码已开源，地址为：https://github.com/postBG/CosMo.pytorch