
摘要
现有的多视角多人3D姿态估计方法通常显式建立不同视角之间的对应关系,将多相机视图中检测到的2D姿态进行关联,并分别求解每个人的3D姿态。然而,在多人场景中建立跨视角对应关系极具挑战性,错误的对应关系会导致多阶段流水线性能显著下降。为此,本文提出一种基于平面扫掠立体匹配(plane sweep stereo)的多视角3D姿态估计方法,能够在单次推理中联合完成跨视角融合与3D姿态重建。具体而言,我们针对目标相机视图中每个2D姿态的每个关节点进行深度回归。通过多个参考相机视图,利用平面扫掠算法隐式地施加跨视角一致性约束,从而提升深度回归的准确性。我们采用“粗到精”(coarse-to-fine)的策略,先估计个体级别的深度,再进行每个个体内部关节点之间的相对深度估计。最终,基于估计得到的深度信息,通过简单的反投影即可获得3D姿态。我们在多个基准数据集上对所提方法进行了评估,结果表明其性能超越了此前的最先进方法,同时具有极高的计算效率。代码已开源,地址为:https://github.com/jiahaoLjh/PlaneSweepPose。