SHPR-Net：ポイントクラウドからの深層意味的ハンドポーズ回帰

3次元手のポーズ推定は、人間-コンピュータインタラクションにおいて重要な課題である。既存の深度ベースの手のポーズ推定手法の多くは、2次元深度マップまたは3次元ボリュームを、2次元/3次元畳み込みニューラルネットワーク（CNN）を用いて処理している。本論文では、点群から手のポーズを推定するための深層セマンティック手ポーズ回帰ネットワーク（SHPR-Net）を提案する。SHPR-Netは、セマンティックセグメンテーションサブネットワークと手ポーズ回帰サブネットワークの2つのサブネットワークから構成される。セマンティックセグメンテーションネットワークは、点群内の各点にセマンティックラベルを割り当てる。ポーズ回帰ネットワークは、入力と後段の両方の統合戦略を用いて、セマンティック事前知識を統合し、最終的な手のポーズを回帰する。入力点群と出力ポーズそれぞれに対して、点群から学習された2つの変換行列を用いて変換および逆変換を行うことで、SHPR-Netは幾何変換に対してより高いロバスト性を実現する。NYU、ICVL、MSRAの手のポーズデータセットにおける実験結果から、本手法が最先端の手法と同等の高い性能を達成することが示された。さらに、本手法が複数視点深度データからの手のポーズ推定に自然に拡張可能であり、NYUデータセットにおいてさらなる性能向上が得られることも示した。