2 个月前

SMAP:单次多人绝对3D姿态估计

Zhen, Jianan ; Fang, Qi ; Sun, Jiaming ; Liu, Wentao ; Jiang, Wei ; Bao, Hujun ; Zhou, Xiaowei
SMAP:单次多人绝对3D姿态估计
摘要

从单个RGB图像中恢复多人的三维姿态及其绝对尺度是一个具有挑战性的问题,因为单视图固有的深度和尺度模糊性。解决这一模糊性需要在整个图像中聚合各种线索,如人体尺寸、场景布局和人际关系。然而,大多数先前的方法采用了一种自上而下的方案,首先进行二维姿态检测,然后分别回归每个检测到的人的三维姿态和尺度,忽略了全局上下文线索。在本文中,我们提出了一种新颖的系统,该系统首先回归一组2.5D的人体部位表示,然后基于这些2.5D表示并通过一种深度感知的部位关联算法重建三维绝对姿态。这种单次自下而上的方案使系统能够更好地学习和推理人际间的深度关系,从而提高了三维和二维姿态估计的准确性。实验结果表明,所提出的方法在CMU Panoptic和MuPoTS-3D数据集上达到了最先进的性能,并且适用于野外视频。