基于双源的方法从单幅图像中估计三维人体姿态

在本研究中，我们致力于解决从单张图像中估计三维人体姿态这一具有挑战性的问题。近期的方法通过学习深度神经网络直接从图像回归三维姿态。然而，这类方法面临的主要挑战之一是训练数据的收集。具体而言，收集大量包含无约束图像并标注有精确三维姿态的训练数据是不可行的。因此，我们提出使用两个独立的训练源。第一个源由精确的三维动作捕捉数据组成，第二个源则由标注有二维姿态的无约束图像组成。为了整合这两个来源的数据，我们提出了一种双源方法，该方法结合了二维姿态估计与高效的三维姿态检索。为此，我们首先将动作捕捉数据转换到标准化的二维姿态空间，并分别从图像数据中学习一个二维姿态估计模型。在推理阶段，我们先估计出二维姿态，然后高效地检索最接近的三维姿态。接下来，我们在三维姿态空间与图像之间联合估计映射关系，并重建三维姿态。我们对所提出的 方法进行了全面评估，并通过实验验证了即使当两个来源的骨骼结构存在显著差异时，我们的方法依然有效。