2 个月前

视频中人物再识别的空间-时间关联与拓扑学习

Jiawei Liu; Zheng-Jun Zha; Wei Wu; Kecheng Zheng; Qibin Sun
视频中人物再识别的空间-时间关联与拓扑学习
摘要

基于视频的人重识别旨在匹配非重叠摄像头视图中来自视频序列的行人。实现视频人物重识别的关键因素是有效利用视频序列中的空间和时间线索。在本研究中,我们提出了一种新颖的空间-时间相关性和拓扑学习框架(Spatial-Temporal Correlation and Topology Learning, CTL),通过建模跨尺度的空间-时间相关性来追求具有区分性和鲁棒性的表示。具体而言,CTL 利用卷积神经网络(CNN)主干和关键点估计器从人体多个粒度提取语义局部特征作为图节点。该框架探索了一种上下文增强的拓扑结构,通过考虑全局上下文信息和人体物理连接来构建多尺度图。此外,设计了三维图卷积和跨尺度图卷积,这有助于直接进行跨时空和跨尺度的信息传播,从而捕捉层次化的空间-时间依赖关系和结构信息。通过联合执行这两种卷积操作,CTL 有效地挖掘了与外观信息互补的全面线索,以增强表示能力。广泛的实验在两个视频基准数据集上验证了所提方法的有效性和最先进的性能。

视频中人物再识别的空间-时间关联与拓扑学习 | 最新论文 | HyperAI超神经