Mo2Cap2：基于帽载鱼眼相机的实时移动3D动作捕捉

我们提出了一种用于广泛无约束日常活动中的第一人称视角3D人体姿态估计的首个实时方法。这一场景具有一系列独特的挑战，例如硬件设置的移动性和长时间捕捉会话中对快速恢复跟踪失败的鲁棒性。我们基于一种新颖的轻量级设置解决了这些挑战，该设置将标准棒球帽转换为单个安装在帽子上的鱼眼相机设备，用于高质量的姿态估计。从捕获的第一人称实时视频流中，我们的基于CNN的3D姿态估计方法能够在消费级GPU上以60Hz的速度运行。除了新颖的硬件设置外，我们的其他主要贡献还包括：1）一个大型的真实训练数据集，包含俯视鱼眼图像；2）一种新颖的解耦3D姿态估计方法，考虑了第一人称视角的独特属性。评估结果表明，我们在3D关节误差和2D叠加效果方面均优于现有的基线方法。