要約
本研究では、RGB画像から3D手の形状と姿勢を予測する初のエンドツーエンドの深層学習ベースの手法を提示します。当該ネットワークは、深層畳み込みエンコーダと固定モデルベースのデコーダの連結で構成されています。入力画像が与えられ、オプションで独立したCNNから得られた2D関節検出結果も利用される場合、エンコーダは手と視点のパラメータセットを予測します。デコーダには2つのコンポーネントがあります：事前に計算されたアーティキュレーテッド・メッシュ・デフォーメーション手モデル（手パラメータから3Dメッシュを生成）と、視点パラメータによって制御される再投影モジュール（生成された手を画像ドメインに投影）。我々は、深層学習フレームワーク内で手モデルに符号化された形状と姿勢の先験知識を使用することで、標準的なベンチマークにおける画像からの3D姿勢予測において最先端の性能を達成し、幾何学的に有効かつ妥当な3D再構築を生成できることを示しています。さらに、限られたデータセットでの3D関節注釈による完全な教師あり学習と併せて、野生環境下の画像データセットでの2D関節注釈による弱い教師あり学習を使用して訓練することで、野生環境下の画像に対する3D形状と姿勢予測において良好な汎化性能が得られることも示しています。