要約
私たちは、単一のRGB入力画像のみを使用して両手の全3次元関節位置を推定するという課題に取り組んでいます。本研究では、2つの手の相互遮蔽や複雑な背景ノイズにもかかわらず正確に手をセグメンテーションし、位置を特定し、さらに深度情報なしで2次元および3次元正準関節位置を推定する新しい多段階畳み込みニューラルネットワーク（CNN）ベースのパイプラインを提案します。カメラ原点に対する全関節位置は、手の姿勢推定と主要骨の実際の長さを用いて新規投影アルゴリズムにより計算されます。この新たな課題のためにCNNを訓練するために、大規模な合成3次元手姿勢データセットを導入しました。我々のシステムは、RGB情報のみを使用した3次元正準手姿勢推定ベンチマークデータセットにおいて先行研究を超える性能を示すことを実証しています。さらに、RGB情報のみを使用して両手の全3次元追跡を達成する最初の研究であり、定量的および定性的評価も広範に行っています。