2 个月前

通过距离矩阵回归从单张图像中进行3D人体姿态估计

Francesc Moreno-Noguer
通过距离矩阵回归从单张图像中进行3D人体姿态估计
摘要

本文探讨了从单张图像中估计三维人体姿态的问题。我们遵循标准的两步流程,首先检测出 $N$ 个身体关节的二维位置,然后利用这些观测结果推断三维姿态。对于第一步,我们使用了一种基于最近卷积神经网络(CNN)的检测器。对于第二步,大多数现有方法通过回归 2$N$ 到 3$N$ 的笛卡尔坐标来实现关节坐标的转换。我们证明,通过使用 $N \times N$ 距离矩阵表示二维和三维人体姿态,并将问题表述为从二维到三维距离矩阵的回归,可以获得更精确的姿态估计。为了学习这种回归器,我们利用了简单的神经网络架构,该架构在构建过程中强制预测矩阵的正定性和对称性。这种方法还具有自然处理缺失观测数据的优势,并允许假设未观测到关节的位置。我们在 Humaneva 和 Human3.6M 数据集上的定量结果显示,相比现有最先进方法,本方法具有一致的性能提升。此外,在 LSP 数据集中的野外图像上进行定性评估时,使用在 Human3.6M 上训练得到的回归器,展示了非常有前景的泛化结果。