多尺度上下文感知网络与Transformer在步态识别中的应用

尽管步态识别近年来受到了越来越多的研究关注，由于空间域中的轮廓差异非常细微，时间特征表示对于步态识别至关重要。受人类能够通过自适应聚焦不同时间尺度的片段来区分不同个体步态这一现象的启发，我们提出了一种用于步态识别的多尺度上下文感知网络（MCAT）。MCAT 在三个时间尺度上生成时间特征，并利用局部和全局视角的上下文信息自适应地聚合这些特征。具体而言，MCAT 包含一个自适应时间聚合（ATA）模块，该模块首先进行局部关系建模，然后进行全局关系建模，以融合多尺度特征。此外，为了弥补因时间操作导致的空间特征损坏，MCAT 引入了一个显著空间特征学习（SSFL）模块，用于选择具有判别性的空间特征组。在三个数据集上进行的大量实验表明了该方法的最先进性能。具体来说，在 CASIA-B 数据集上，我们在正常行走、携带包和穿着外套条件下分别达到了 98.7%、96.2% 和 88.7% 的首位准确率；在 OU-MVLP 数据集上达到了 97.5% 的首位准确率；在 GREW 数据集上达到了 50.6% 的首位准确率。源代码将在 https://github.com/zhuduowang/MCAT.git 提供。