17 天前

用于3D人体姿态估计的常规分裂图网络

Tanvir Hassan, A. Ben Hamza
用于3D人体姿态估计的常规分裂图网络
摘要

在基于图卷积架构的人体姿态估计方法中,人体骨骼通常被建模为一个无向图,其中节点表示身体关节,边则表示相邻关节之间的连接。然而,大多数现有方法仅关注利用一阶邻接关系来学习关节间的关联,忽略了高阶邻近关系,从而限制了其捕捉远距离关节之间关系的能力。本文提出一种高阶规则分裂图网络(RS-Net),用于实现从2D到3D的人体姿态估计,该方法结合矩阵分裂技术,并引入权重与邻接矩阵的调制机制。其核心思想是通过多跳邻域(multi-hop neighborhoods)捕捉关节间的长程依赖关系,同时为不同身体关节学习差异化的调制向量,并构建一个可学习的调制矩阵,该矩阵被添加至与骨骼结构相关的邻接矩阵中。这一可学习的调制矩阵能够通过引入额外的图边,动态调整图结构,以促进关节间潜在连接的学习。与传统方法中对所有邻近关节共享同一权重矩阵的做法不同,本文提出的RS-Net在聚合关节特征向量前采用权重非共享策略,从而更有效地捕捉关节间多样化的空间关系。在两个基准数据集上的实验与消融研究结果表明,所提模型具有显著优势,其性能超越了当前最新的3D人体姿态估计方法。