HyperAIHyperAI

Command Palette

Search for a command to run...

GaitMixer:基于骨架的步态表示学习通过宽谱多轴混合器

Ekkasit Pinyoanuntapong Ayman Ali Pu Wang Minwoo Lee Chen Chen

摘要

大多数现有的步态识别方法都是基于外观的,这些方法依赖于从人体行走视频数据中提取的轮廓。相比之下,基于骨架的步态识别方法较少被研究,这类方法直接从2D/3D人体骨架序列中学习步态动态,理论上在面对因衣物、发型和携带物品引起的外观变化时更为鲁棒。然而,基于骨架的解决方案性能仍远落后于基于外观的方法。本文旨在通过提出一种新的网络模型——GaitMixer,缩小这一性能差距,以从骨架序列数据中学习更具区分性的步态表示。具体而言,GaitMixer采用了异构多轴混合架构,该架构利用空间自注意力混合器(spatial self-attention mixer)和时间大核卷积混合器(temporal large-kernel convolution mixer)相结合的方式,学习步态特征图中的丰富多频信号。在广泛使用的步态数据库CASIA-B上的实验表明,GaitMixer大幅超越了以往的最佳(SOTA)基于骨架的方法,并且其性能与代表性的基于外观的解决方案具有竞争力。代码将在https://github.com/exitudio/gaitmixer 提供。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供