2 个月前

可学习的人体姿态三角化方法

Karim Iskakov; Egor Burkov; Victor Lempitsky; Yury Malkov
可学习的人体姿态三角化方法
摘要

我们提出了两种基于新的可学习三角测量方法的多视角3D人体姿态估计的新解决方案,这些方法结合了多个2D视图中的3D信息。第一个(基准)解决方案是一种基本的可微分代数三角测量方法,增加了从输入图像中估计出的置信权重。第二个解决方案则基于一种新颖的从中间2D骨干特征图进行体积聚合的方法。聚合后的体积通过3D卷积进一步优化,生成最终的3D关节热图,并允许建模人体姿态先验。重要的是,这两种方法都是端到端可微分的,这使得我们可以直接优化目标度量。我们在不同数据集之间展示了这些解决方案的可迁移性,并在Human3.6M数据集上显著提升了多视角状态下的技术水平。视频演示、注释和额外材料将发布在我们的项目页面上(https://saic-violet.github.io/learnable-triangulation)。