基于视频的人体再识别的多粒度超图学习

基于视频的人体重识别（video-based person re-identification, re-ID）是计算机视觉领域的重要研究课题。解决这一具有挑战性任务的关键在于有效利用视频序列中的时空线索。本文提出一种新颖的图结构框架——多粒度超图（Multi-Granular Hypergraph, MGH），通过在多个粒度层次上建模时空依赖关系，以提升特征表示能力。具体而言，该框架利用视频序列中不同层级的基于部件的特征，构建具有不同空间粒度的超图；在每个超图中，通过连接跨不同时间范围的图节点（即基于部件的特征）的超边，捕捉不同的时间粒度。所提出的超图传播机制与特征聚合策略，能够显式地处理重识别任务中两个关键问题：特征错位（misalignment）与遮挡（occlusion）。此外，为进一步增强整体视频表征能力，我们基于互信息最小化原则，学习多种粒度下的多样化图级表示。在三个广泛使用的基准数据集上进行的大量实验充分验证了所提框架的有效性。值得注意的是，仅使用MGH框架即在MARS数据集上实现了90.0%的Top-1准确率，显著优于现有最先进方法。相关代码已开源，地址为：https://github.com/daodaofr/hypergraph_reid。