2 个月前

MotionAGFormer:通过Transformer-GCNFormer网络增强3D人体姿态估计

Mehraban, Soroush ; Adeli, Vida ; Taati, Babak
MotionAGFormer:通过Transformer-GCNFormer网络增强3D人体姿态估计
摘要

近期基于Transformer的方法在3D人体姿态估计中展现了出色的性能。然而,这些方法通常具有全局视角,通过编码所有关节之间的全局关系,未能精确捕捉局部依赖关系。本文提出了一种新颖的注意力图卷积网络前向(Attention-GCNFormer, AGFormer)模块,该模块通过两条并行的Transformer和GCFormer流来划分通道数。我们提出的GCNFormer模块利用了相邻关节之间的局部关系,输出了一种与Transformer输出互补的新表示。通过以自适应的方式融合这两种表示,AGFormer展示了更好的学习潜在3D结构的能力。通过堆叠多个AGFormer模块,我们提出了四种不同变体的MotionAGFormer模型,可以根据速度与精度的权衡进行选择。我们在两个流行的基准数据集Human3.6M和MPI-INF-3DHP上评估了我们的模型。MotionAGFormer-B取得了最先进的结果,分别在这两个数据集上的P1误差为38.4毫米和16.2毫米。值得注意的是,它使用的参数量仅为之前领先模型的四分之一,并且在Human3.6M数据集上的计算效率提高了三倍。代码和模型可在https://github.com/TaatiTeam/MotionAGFormer 获取。

MotionAGFormer:通过Transformer-GCNFormer网络增强3D人体姿态估计 | 最新论文 | HyperAI超神经