17 天前

PONet:仅通过学习方向实现鲁棒的3D人体姿态估计

Jue Wang, Shaoli Huang, Xinchao Wang, Dacheng Tao
PONet:仅通过学习方向实现鲁棒的3D人体姿态估计
摘要

传统的3D人体姿态估计方法通常首先检测2D人体关键点,随后解决2D到3D关键点的对应问题。尽管该方法取得了令人瞩目的成果,但其性能高度依赖于2D关键点检测器的质量,而该检测器在遮挡或肢体完全超出图像范围等情况下不可避免地表现脆弱。本文提出一种新型的姿势方向网络(Pose Orientation Net, PONet),仅通过学习姿态方向即可实现鲁棒的3D姿态估计,从而在缺乏图像证据时绕过易出错的关键点检测环节。对于部分肢体不可见的图像,PONet能够利用局部图像线索,推断出这些肢体的3D方向,进而恢复完整的3D姿态。此外,即使在肢体完全不可见的情况下,PONet仍可通过分析可见肢体之间的方向相关性,推断出完整的3D姿态,进一步提升了3D姿态估计的鲁棒性。我们在多个公开数据集(包括Human3.6M、MPII、MPI-INF-3DHP和3DPW)上对所提方法进行了评估。实验结果表明,在理想条件下,本方法性能与当前最先进技术相当;而在关键点检测器失效的复杂场景(如肢体截断、遮挡或擦除)下,本方法展现出显著更强的鲁棒性,性能远超现有方法,充分展示了其在真实应用场景中的巨大潜力。

PONet:仅通过学习方向实现鲁棒的3D人体姿态估计 | 最新论文 | HyperAI超神经