2 个月前

探索细粒度表示与重组在换衣行人重识别中的应用

Wang, Qizao ; Qian, Xuelin ; Li, Bin ; Xue, Xiangyang ; Fu, Yanwei
探索细粒度表示与重组在换衣行人重识别中的应用
摘要

换衣行人重识别(Re-ID)是一项特别具有挑战性的任务,主要受到两个限制:较差的判别特征和有限的训练样本。现有的方法主要通过利用辅助信息来促进身份相关特征的学习,包括形状或步态的软生物特征以及衣物的额外标签。然而,在实际应用中,这些信息可能无法获得。在本文中,我们提出了一种新颖的细粒度表示与重组(FIne-grained Representation and Recomposition, FIRe$^{2}$)框架,无需任何辅助注释或数据即可解决这两个限制。具体而言,我们首先设计了一个细粒度特征挖掘(Fine-grained Feature Mining, FFM)模块,分别对每个人的图像进行聚类。鼓励具有相似细粒度属性(例如衣物和视角)的图像聚在一起。引入了一种属性感知分类损失,基于聚类标签进行细粒度学习,这些标签在不同的人之间不共享,从而促使模型学习身份相关的特征。此外,为了充分利用细粒度属性,我们提出了一个细粒度属性重组(Fine-grained Attribute Recomposition, FAR)模块,在潜在空间中通过不同属性重新组合图像特征。这显著增强了鲁棒性特征学习的效果。大量的实验表明,FIRe$^{2}$在五个广泛使用的换衣行人重识别基准数据集上能够达到最先进的性能。代码可在 https://github.com/QizaoWang/FIRe-CCReID 获取。