2 个月前

部分对齐的双线性表示用于人员再识别

Yumin Suh; Jingdong Wang; Siyu Tang; Tao Mei; Kyoung Mu Lee
部分对齐的双线性表示用于人员再识别
摘要

我们提出了一种新颖的网络,用于学习人体重识别中的部分对齐表示。该网络解决了由于姿态/视角变化和检测不可靠导致的人体检测中身体部位错位的问题。我们的模型由一个双流网络(一个流用于外观图提取,另一个流用于身体部位图提取)和一个双线性池化层组成,该池化层生成并空间上聚合了部分对齐图。部分对齐图的每个局部特征都是通过相应局部外观描述符和身体部位描述符的双线性映射获得的。这种新的表示方法能够产生一种鲁棒的图像匹配相似度,相当于将对应身体部位的局部相似度与加权外观相似度相结合后的聚合结果。部分对齐表示显著减少了身体部位错位问题的影响。此外,与基于姿态引导的其他表示方法(例如,在每个身体部位的边界框内提取表示)相比,我们的方法通过学习最适合人体重识别的部分描述符而具有优势。在训练网络时,我们的方法不需要在人体重识别数据集上进行任何部分注释。相反,我们仅需使用现有姿态估计网络的一个预训练子网络来初始化部分子流,并训练整个网络以最小化重识别损失。我们在标准基准数据集(包括Market-1501、CUHK03、CUHK01和DukeMTMC)以及标准视频数据集MARS上验证了我们方法的有效性,展示了其优于当前最先进方法的优势。