2 个月前

SVMAC:基于单视图多角度一致性的单图像无监督3D人体姿态估计

Deng, Yicheng ; Sun, Cheng ; Zhu, Jiahui ; Sun, Yongqi
SVMAC:基于单视图多角度一致性的单图像无监督3D人体姿态估计
摘要

从2D关节恢复3D人体姿态仍然是一个具有挑战性的问题,尤其是在没有任何3D注释、视频信息或多视图信息的情况下。在本文中,我们提出了一种无监督的基于生成对抗网络(GAN)的模型,该模型由多个权重共享的生成器组成,可以从单张图像中估计3D人体姿态而无需3D注释。在我们的模型中,引入了单视图多角度一致性(Single-View-Multi-Angle Consistency, SVMAC),以显著提高估计性能。以2D关节位置作为输入,我们的模型同时估计3D姿态和相机参数。在训练过程中,估计的3D姿态被随机旋转,估计的相机将旋转后的3D姿态重新投影到2D平面上。这些2D重投影将被输入到权重共享的生成器中,以估计相应的3D姿态和相机参数,然后通过混合这些估计结果来施加SVMAC约束,从而实现自监督训练过程。实验结果表明,我们的方法在Human 3.6M和MPI-INF-3DHP数据集上优于现有的无监督方法。此外,在MPII和LSP数据集上的定性结果表明,我们的方法可以很好地泛化到未知数据。

SVMAC:基于单视图多角度一致性的单图像无监督3D人体姿态估计 | 最新论文 | HyperAI超神经