17 天前

细节见魔鬼:面向行人重识别中条件嵌入的视觉线索对齐

Fufu Yu, Xinyang Jiang, Yifei Gong, Shizhen Zhao, Xiaowei Guo, Wei-Shi Zheng, Feng Zheng, Xing Sun
细节见魔鬼:面向行人重识别中条件嵌入的视觉线索对齐
摘要

尽管行人重识别(Person Re-Identification)技术已取得显著进展,但遮挡、视角变化以及服装相似等复杂场景仍带来巨大挑战。除了利用整体视觉特征外,对细节信息的匹配与比较也对应对这些挑战至关重要。本文提出两种关键的识别模式,以更充分地利用行人图像中的细节信息,而现有大多数方法难以实现这一目标。首先,视觉线索对齐(Visual Clue Alignment)要求模型能够从两张图像中自主选择并对齐具有决定性意义的区域对,进行逐对比较;而现有方法通常仅依据预设规则(如高特征相似性或相同语义标签)进行区域对齐。其次,条件特征嵌入(Conditional Feature Embedding)则要求查询图像的全局特征能根据其匹配的候选图像进行动态调整,而大多数现有方法忽略了参考图像的影响。为此,本文引入了包括对应注意力模块(correspondence attention module)和基于差异的图卷积网络(discrepancy-based GCN)在内的新型技术,提出一种端到端的重识别方法——CACE-Net(Clue Alignment and Conditional Embedding Network),将上述两种模式统一整合于一个框架之中。实验结果表明,CACE-Net在三个公开数据集上均取得了当前最优的性能表现。