基于骨骼的姿势分解的解剖感知3D人体姿态估计

在本工作中，我们提出了一种新的视频中三维人体姿态估计方法。不同于直接回归三维关节位置，我们借鉴人体骨骼解剖结构，将该任务分解为骨骼方向预测与骨骼长度预测两个子任务，从而可完全推导出三维关节位置。我们的动机在于：人体骨骼的长度在时间上保持恒定。这一特性促使我们设计有效方法，利用视频中所有帧的全局信息，实现高精度的骨骼长度预测。此外，针对骨骼方向预测网络，我们提出了一种全卷积传播架构，并引入长距离跳跃连接（long skip connections）。该架构能够以层级方式预测不同骨骼的方向，且无需使用任何耗时的记忆单元（如LSTM）。为进一步协调骨骼长度与骨骼方向预测网络的训练，我们引入了一种新颖的联合偏移损失（joint shift loss）。最后，我们采用隐式注意力机制，将二维关键点可见性分数作为额外引导信息输入模型，显著缓解了在复杂姿态下存在的深度模糊问题。实验结果表明，我们的完整模型在Human3.6M和MPI-INF-3DHP数据集上均超越了此前最优方法，全面的评估验证了所提模型的有效性。