时间知识传播在图像到视频的人重识别中的应用

在许多行人重识别（Re-ID）场景中，画廊集由大量监控视频组成，而查询仅是一张图像，因此行人重识别需要在图像和视频之间进行。与视频相比，静态人物图像缺乏时间信息。此外，图像和视频特征之间的信息不对称增加了匹配的难度。为了解决这一问题，我们提出了一种新颖的时间知识传播（Temporal Knowledge Propagation, TKP）方法，该方法将视频表示网络学习到的时间知识传播到图像表示网络。具体而言，给定输入视频，我们在共享特征空间中强制图像表示网络适应视频表示网络的输出。通过反向传播，时间知识可以被转移到增强图像特征，并缓解信息不对称问题。结合额外的分类损失和综合三元组损失，我们的模型可以学习到具有表现力和区分性的图像和视频特征，用于图像到视频的重识别。大量的实验验证了我们方法的有效性，并且在两个广泛使用的数据集上的整体结果大幅超越了现有最先进方法。代码可从以下链接获取：https://github.com/guxinqian/TKP