HyperAIHyperAI

Command Palette

Search for a command to run...

基于平面扫描立体视觉的多视角多人3D姿态估计

Jiahao Lin Gim Hee Lee

摘要

现有的多视角多人3D姿态估计方法通常显式建立不同视角之间的对应关系,将多相机视图中检测到的2D姿态进行关联,并分别求解每个人的3D姿态。然而,在多人场景中建立跨视角对应关系极具挑战性,错误的对应关系会导致多阶段流水线性能显著下降。为此,本文提出一种基于平面扫掠立体匹配(plane sweep stereo)的多视角3D姿态估计方法,能够在单次推理中联合完成跨视角融合与3D姿态重建。具体而言,我们针对目标相机视图中每个2D姿态的每个关节点进行深度回归。通过多个参考相机视图,利用平面扫掠算法隐式地施加跨视角一致性约束,从而提升深度回归的准确性。我们采用“粗到精”(coarse-to-fine)的策略,先估计个体级别的深度,再进行每个个体内部关节点之间的相对深度估计。最终,基于估计得到的深度信息,通过简单的反投影即可获得3D姿态。我们在多个基准数据集上对所提方法进行了评估,结果表明其性能超越了此前的最先进方法,同时具有极高的计算效率。代码已开源,地址为:https://github.com/jiahaoLjh/PlaneSweepPose


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供