12 天前

基于骨架的动作识别中的时空图路由

{Fei Wu, Zhongfei Zhang, Xi Li, Bin Li}
摘要

基于骨架的人体动作识别因其出色的表征能力而受到广泛关注,并在众多实际场景中具有广泛应用前景。然而,现有方法大多依赖于固定的物理连接骨架结构进行识别,难以有效捕捉骨架关节点之间的内在高阶关联关系。为此,本文提出一种新颖的时空图路由(Spatio-Temporal Graph Routing, STGR)机制,用于骨架动作识别,该机制能够自适应地学习物理上相距较远关节点之间的内在高阶连接关系。具体而言,该机制由两个核心组件构成:空间图路由模块(Spatial Graph Router, SGR)与时间图路由模块(Temporal Graph Router, TGR)。SGR通过在空间维度上对关节点进行子群聚类,挖掘关节点间的潜在连接关系;TGR则通过度量时间维度上关节点轨迹之间的相关性,探索其动态结构信息。所提出的STGR机制可自然且无缝地嵌入图卷积网络(Graph Convolutional Networks, GCNs)框架中,生成一组与骨架关节点连接关系相关的图结构,并将其输入分类网络进行后续处理。此外,本文还对图节点的感受野进行了深入分析,以阐明所提方法的必要性。在两个基准数据集(NTU RGB+D 和 Kinetics)上的实验结果表明,该方法在性能上显著优于当前最先进的技术。

基于骨架的动作识别中的时空图路由 | 最新论文 | HyperAI超神经