摘要
除了考虑人体姿态和遮挡导致的识别难度外，还需要解决可见光-热红外跨模态行人重识别（VT-ReID）任务中不同成像系统引起的模态差异问题。本文提出了一种基于局部特征和全局特征联合学习的双流网络——跨模态局部最短路径与全局增强（CM-LSP-GE）模块。本文的核心思想是利用局部特征对齐来解决遮挡问题，并通过加强全局特征来解决模态差异。首先，设计了基于注意力机制的双流ResNet网络，用于提取双模态特征并映射到统一的特征空间。然后，为了解决跨模态的人体姿态和遮挡问题，图像被水平分割成若干等分以获取局部特征，并在两个图之间的局部特征中使用最短路径方法实现细粒度的局部特征对齐。接着，批归一化增强模块应用于全局特征，以实现不同类别之间的差异增强。多粒度损失融合策略进一步提升了算法的性能。最后，通过局部和全局特征的联合学习机制来提高跨模态行人重识别的准确性。实验结果表明，在两个典型数据集上，我们的模型明显优于现有的最先进的方法。特别是在SYSU-MM01数据集上，我们的模型在Rank-1和mAP的所有搜索项中分别实现了2.89%和7.96%的提升。源代码将很快发布。