2 个月前
基于深度的3D手部姿态估计：从现有成果到未来目标
Shanxin Yuan; Guillermo Garcia-Hernando; Bjorn Stenger; Gyeongsik Moon; Ju Yong Chang; Kyoung Mu Lee; Pavlo Molchanov; Jan Kautz; Sina Honari; Liuhao Ge; Junsong Yuan; Xinghao Chen; Guijin Wang; Fan Yang; Kai Akiyama; Yang Wu; Qingfu Wan; Meysam Madadi; Sergio Escalera; Shile Li; Dongheui Lee; Iason Oikonomidis; Antonis Argyros; Tae-Kyun Kim
摘要
本文旨在回答两个问题：当前基于深度图像的3D手部姿态估计的研究状况如何？以及，未来需要解决的挑战是什么？继Hands In the Million Challenge（HIM2017）取得成功之后，我们对三项任务中的前10种最先进方法进行了研究：单帧3D姿态估计、3D手部跟踪以及物体交互过程中的手部姿态估计。我们分析了不同卷积神经网络（CNN）结构在手形、关节可见性、视角和关节分布方面的性能表现。我们的研究发现包括：(1) 在视角范围为[70, 120]度的情况下，孤立的3D手部姿态估计可以实现较低的平均误差（10毫米），但对于极端视角而言，该问题远未得到解决；(2) 3D体素表示优于2D CNN，能够更好地捕捉深度数据的空间结构；(3) 判别方法对于未见过的手形仍然泛化能力较差；(4) 尽管大多数方法在处理关节遮挡时面临挑战，但显式建模结构约束可以显著缩小可见关节与遮挡关节之间的误差差距。