表現的な身体捕捉：単一画像からの3D手、顔、および身体

人間の行動、相互作用、感情の分析を容易にするために、単一の単眼画像から人間の体勢、手の姿勢、表情の3次元モデルを計算します。これを行うためには、数千の3次元スキャンデータを使用して、完全に可動な手と表現力豊かな顔を備えた新しい統合された3次元人間体モデルSMPL-Xを開発しました。このモデルはSMPLを拡張しています。画像から直接SMPL-Xのパラメータを回帰学習することは、対応する画像と3次元真値がないと困難です。したがって、2D特徴量を推定し、その後モデルパラメータをこれらの特徴量に適合させるSMPLifyのアプローチに従います。私たちはSMPLifyに対していくつかの重要な点で改善を行いました：(1) 顔、手、足に対応する2D特徴量を検出し、これらに対して完全なSMPL-Xモデルを適合させます；(2) 大規模なモーションキャプチャデータセットを使用して新しいニューラルネットワークポーズ事前分布（pose prior）を訓練します；(3) 速くかつ正確な新しい貫通ペナルティ（interpenetration penalty）を定義します；(4) 性別を自動的に検出し、適切な体型モデル（男性、女性、または中立）を選択します；(5) PyTorch実装ではChumpyよりも8倍以上の高速化が達成されています。私たちは新方法であるSMPLify-Xを使用して、制御された画像や野生環境での画像に対してSMPL-Xを適合させました。100枚の疑似真値付き画像で構成される新しく編集されたデータセット上で3次元精度を評価しました。これは単眼RGBデータからの自動的な表現豊かな人間キャプチャへの一歩となります。本研究では使用したモデル、コード、データは研究目的のために https://smpl-x.is.tue.mpg.de で公開されています。