有限标注的草图到照片检索中的实例级异构域适应

尽管草图到照片的图像检索技术具有广泛的应用前景，但获取成对且标注丰富的真实数据（ground truth）成本高昂。相比之下，照片检索数据则更容易获取。因此，以往的方法通常在标注丰富照片检索数据（即源域）上进行预训练，随后在标注有限的草图到照片检索数据（即目标域）上进行微调。然而，若不同时对源域和目标域数据进行联合训练，模型在微调过程中可能会遗忘源域知识；而简单地联合训练则可能因域间差异导致负向迁移。此外，源域与目标域的身份标签空间通常互不重叠，因此传统的类别级域适应（Domain Adaptation, DA）方法无法直接适用。为解决上述问题，本文提出一种实例级异构域适应（Instance-level Heterogeneous Domain Adaptation, IHDA）框架。该框架采用微调策略进行身份标签学习，旨在以归纳式迁移方式实现实例级知识的传递。同时，从源域中选取已标注的属性信息，构建一个跨源域与目标域共享的标签空间。在此共享属性的引导下，利用域适应技术弥合跨数据集域差异与异构域差异，实现以归纳式迁移方式传递实例级知识。实验结果表明，所提方法在三个草图到照片图像检索基准测试上均取得了新的最优性能，且无需额外标注信息。该方法为在标注有限的异构图像检索任务中训练更高效模型开辟了新路径。相关代码已开源，地址为：https://github.com/fandulu/IHDA。