GaitMixer：基于骨架的步态表示学习通过宽谱多轴混合器

大多数现有的步态识别方法都是基于外观的，这些方法依赖于从人体行走视频数据中提取的轮廓。相比之下，基于骨架的步态识别方法较少被研究，这类方法直接从2D/3D人体骨架序列中学习步态动态，理论上在面对因衣物、发型和携带物品引起的外观变化时更为鲁棒。然而，基于骨架的解决方案性能仍远落后于基于外观的方法。本文旨在通过提出一种新的网络模型——GaitMixer，缩小这一性能差距，以从骨架序列数据中学习更具区分性的步态表示。具体而言，GaitMixer采用了异构多轴混合架构，该架构利用空间自注意力混合器（spatial self-attention mixer）和时间大核卷积混合器（temporal large-kernel convolution mixer）相结合的方式，学习步态特征图中的丰富多频信号。在广泛使用的步态数据库CASIA-B上的实验表明，GaitMixer大幅超越了以往的最佳（SOTA）基于骨架的方法，并且其性能与代表性的基于外观的解决方案具有竞争力。代码将在https://github.com/exitudio/gaitmixer 提供。