学习重匹配错配对以实现鲁棒的跨模态检索

收集匹配良好的多媒体数据集对于训练跨模态检索模型至关重要。然而，在现实场景中，大量的多模态数据是从互联网上获取的，这些数据不可避免地包含部分不匹配对（Partially Mismatched Pairs, PMPs）。毋庸置疑，这种语义无关的数据会显著损害跨模态检索性能。以往的研究倾向于通过估计软对应关系来减轻这一问题，从而降低PMPs的贡献度。本文旨在从一个新的视角解决这一挑战：未配对样本之间的潜在语义相似性使得从不匹配对中挖掘有用知识成为可能。为此，我们提出了L2RM，这是一种基于最优传输（Optimal Transport, OT）的通用框架，用于学习重新匹配不匹配对。具体而言，L2RM通过在不同模态之间寻找最小成本传输计划来生成改进的对齐。为了在最优传输中形式化重新匹配的思想，首先，我们提出了一种自监督的成本函数，该函数能够自动从显式的相似性-成本映射关系中学习。其次，我们在建模部分最优传输问题时限制了误报之间的传输，以进一步提升改进的对齐效果。在三个基准数据集上的大量实验表明，我们的L2RM显著提高了现有模型对PMPs的鲁棒性。代码可在https://github.com/hhc1997/L2RM 获取。