4 个月前

启发式弱监督3D人体姿态估计

Shuangjun Liu; Michael Wan; Sarah Ostadabbas
启发式弱监督3D人体姿态估计
摘要

近年来,基于RGB图像的单目3D人体姿态估计引起了广泛关注。然而,最近的模型依赖于带有3D姿态真实数据或已知姿态先验的监督训练,这严重限制了它们的应用范围。通常情况下,3D姿态数据是通过动作捕捉设备收集的。在本文中,我们提出了一种启发式弱监督3D人体姿态(HW-HuP)解决方案,用于在没有真实3D姿态数据的情况下估计3D姿态。HW-HuP从3D人体姿态数据集中学习部分姿态先验,并利用目标域中易于获取的观测数据,在优化和回归循环中估计3D人体姿态和形状。我们在训练过程中使用深度数据进行弱监督,但在推理阶段不使用深度数据。我们展示了在两个实际场景中,当难以获得3D姿态数据时(如床上的人体姿态和野外的婴儿姿态),HW-HuP显著优于现有最先进模型。此外,即使在这些最先进模型使用3D姿态数据进行训练的情况下,我们仍然证明了HW-HuP在公共基准测试中的性能与其相当。