基于部件引导的新图像合成的自监督3D人体姿态估计

相机捕捉的人体姿态是多种变化因素的结果。监督式3D姿态估计方法的性能是以放弃某些可能对解决其他相关任务有用的变异（如形状和外观）为代价的。因此，所学习的模型不仅会引入任务偏差，还会由于其对标注样本的高度依赖而产生数据集偏差，这一点同样适用于弱监督模型。鉴于此，我们提出了一种自监督学习框架，旨在从未标注的视频帧中解耦这些变化因素。我们利用了人体骨骼和姿态的先验知识，具体形式包括单个基于部件的2D傀儡模型、人体姿态关节约束以及一组未配对的3D姿态。我们的可微分形式化方法弥合了3D姿态与空间部件图之间的表示差距，不仅有助于发现可解释的姿态解耦，还使我们能够在具有多样化摄像机运动的视频上进行操作。在未见过的真实场景数据集上的定性结果证明了我们在多个任务中的优越泛化能力，这些任务超出了3D姿态估计和部件分割的主要任务范围。此外，我们在Human3.6M和MPI-INF-3DHP数据集上展示了最先进的弱监督3D姿态估计性能。