2ヶ月前
VNect: 単一RGBカメラを使用したリアルタイム3Dヒューマンポーズ推定
Dushyant Mehta; Srinath Sridhar; Oleksandr Sotnychenko; Helge Rhodin; Mohammad Shafiei; Hans-Peter Seidel; Weipeng Xu; Dan Casas; Christian Theobalt

要約
単一のRGBカメラを使用して、人間の完全なグローバル3D骨格姿勢を安定した時間的に一貫した方法でリアルタイムに取得する最初の手法を提案します。当手法は、新しい畳み込みニューラルネットワーク(CNN)に基づく姿勢推定器と運動学的な骨格適合を組み合わせています。我々が開発した独自の完全畳み込み型姿勢表現は、2Dおよび3D関節位置をリアルタイムで同時に関節的に推定し、入力フレームを厳密にクロップする必要はありません。リアルタイムの運動学的な骨格適合手法は、CNNの出力を用いて、一貫性のある運動学的な骨格に基づいて時間的に安定した3Dグローバル姿勢再構成を生成します。これにより、当アプローチは3Dキャラクター制御などのリアルタイムアプリケーションに使用可能な初めての単眼RGB手法となります——これまで、このようなアプリケーション向けの単眼手法では専用のRGB-Dカメラが使用されていました。当手法の精度は、最高クラスのオフライン3D単眼RGB姿勢推定手法と定量的に同等です。当手法の結果は、Kinectなどの単眼RGB-Dアプローチからの結果と質的に比較可能であり、場合によってはそれよりも優れています。しかし、我々は当アプローチがRGB-Dソリューションよりも広範囲に適用可能であることを示しています。つまり、屋外シーンやコミュニティビデオ、低品質な市販RGBカメラでも動作します。