深さに基づく3次元手の姿勢推定：現時点の成果から将来の目標まで

本論文では、以下の2つの問いに答えることを目指しています。1つ目は、深度画像から3次元手の姿勢推定の現状は何か？2つ目は、今後取り組むべき課題は何なのか？Hands In the Million Challenge (HIM2017) の成功を受け、私たちは3つのタスクにおいてトップ10の最先端手法を調査しました。これらのタスクとは、単一フレームの3次元姿勢推定、3次元手追跡、および物体との相互作用中の手の姿勢推定です。私たちは異なるCNN構造が手の形状、関節の可視性、視点分布、および関節の屈曲分布に対してどのように機能するかを分析しました。主な研究結果は以下の通りです。(1) 隔離された3次元手の姿勢推定は視点範囲 [70, 120] 度で低い平均誤差（10 mm）を達成していますが、極端な視点については未解決である；(2) 3次元ボリューム表現は2D CNNよりも優れており、深度データの空間構造をよりよく捉えています；(3) 識別的手法は未見的手形状に対する汎化性能が依然として低く残っています；(4) 関節の隠蔽が多くの手法にとって課題となっていますが、構造制約を明示的にモデル化することで可視関節と隠蔽関節間の誤差差異を大幅に縮小できます。以上が本論文的主要な研究成果であり、今後の研究方向性に貢献することを目指しています。