SMPLを用いて：単一画像からの3次元人間の姿勢と形状の自動推定

単一の自由な画像から人間の体の3次元姿勢および3次元形状を自動的に推定する最初の手法について説明します。本手法では、完全な3次元メッシュを推定し、2次元関節位置のみでも体形状に関する驚くべき量の情報を得られることを示しています。この問題は、人間の体の複雑さ、関節運動、隠蔽、衣服、照明、そして2次元から3次元を推論する際の固有の曖昧性のために難易度が高いです。これを解決するために、まず最近公開されたCNNベースの手法であるDeepCutを使用して（ボトムアップ）、2次元体関節位置を予測します。その後、最近公開された統計的な体形状モデルであるSMPL（トップダウン）を2次元関節に適合させます。これを行うために、投影された3次元モデルの関節と検出された2次元関節との誤差を罰則として含む目的関数を最小化します。SMPLは人間の形状が人口全体で相関していることを捉えているため、非常に少ないデータでも堅牢に適合させることができます。さらに、3次元モデルを利用して解が互いに貫通するような状況を防ぎます。我々は提案した手法SMPLifyをLeeds Sports, HumanEva, およびHuman3.6Mデータセットで評価し、既存の最先端技術に対して優れた姿勢精度を示す結果を得ました。