VNect：使用单个RGB相机实现实时3D人体姿态估计

我们提出了一种利用单个RGB相机以稳定且时间上一致的方式实时捕捉人体完整全局3D骨骼姿态的方法。该方法结合了一个基于卷积神经网络（CNN）的新姿态回归器与运动学骨架拟合技术。我们的创新全卷积姿态公式能够在实时环境中联合回归2D和3D关节位置，且不需要紧密裁剪的输入帧。一种实时运动学骨架拟合方法利用CNN的输出，基于连贯的运动学骨架生成时间上稳定的3D全局姿态重建。这使得我们的方法成为首个可用于实时应用（如3D角色控制）的单目RGB方法——迄今为止，此类应用中使用的唯一单目方法依赖于专门的RGB-D相机。我们的方法在准确性方面与最佳离线3D单目RGB姿态估计方法相当。从定性角度来看，我们的结果与单目RGB-D方法（如Kinect）的结果相当，有时甚至更优。然而，我们证明了我们的方法比RGB-D解决方案具有更广泛的应用范围，即它适用于户外场景、社区视频以及低质量的商品级RGB相机。