基于时间卷积和半监督训练的视频中3D人体姿态估计

在这项工作中，我们展示了基于扩张时间卷积的全卷积模型可以有效地从视频中估计3D姿态。我们还引入了一种简单而有效的半监督训练方法——反投影（back-projection），该方法利用了未标记的视频数据。具体而言，我们首先对未标记视频预测2D关键点，然后估计3D姿态，最后将这些3D姿态反投影回输入的2D关键点。在有监督设置下，我们的全卷积模型在Human3.6M数据集上比文献中的最佳结果减少了6毫米的平均关节位置误差，相当于误差降低了11%，并且该模型在HumanEva-I数据集上也表现出显著的改进。此外，使用反投影方法进行的实验表明，在标记数据稀缺的半监督设置下，该方法明显优于之前的最先进结果。代码和模型可在https://github.com/facebookresearch/VideoPose3D 获取。