2 个月前

手部姿态估计的密集3D回归

Chengde Wan; Thomas Probst; Luc Van Gool; Angela Yao
手部姿态估计的密集3D回归
摘要

我们提出了一种简单而有效的方法,用于从单个深度帧中进行三维手部姿态估计。与以往基于整体三维回归的最先进方法不同,我们的方法采用了密集的像素级估计。通过在姿态参数化方面的精心设计选择,该方法充分利用了深度图的二维和三维特性。具体而言,我们将姿态参数分解为一系列像素级估计,即二维热图、三维热图和单位三维方向向量场。通过多任务网络级联(multi-task network cascades)端到端训练,可以估计出二维/三维关节热图和三维关节偏移量。这些像素级估计可以直接转化为投票方案。然后使用一种改进的均值漂移算法来聚合局部投票,并通过设计强制执行所估计的三维姿态与像素级二维和三维估计之间的一致性。我们的方法高效且精度高。在MSRA和NYU手部数据集上,我们的方法大幅超越了所有先前的最先进方法。在ICVL手部数据集上,我们的方法达到了与目前提出的接近饱和的结果相似的精度,并优于其他多种已提出的方法。代码可在$\href{"https://github.com/melonwan/denseReg"}{\text{线上}}$获取。注:为了保持科技新闻或学术写作的语言风格,我将“online”翻译为“线上”,但通常情况下建议保留英文“online”。如果需要进一步调整,请告知。