単眼による表情豊かな身体の回帰：身体駆動型注意を用いて

人々の見た目、相互作用、またはタスクの遂行方法を理解するためには、RGB画像から迅速かつ正確に3Dボディ、顔、手を同時に取得する必要があります。既存の手法の多くは身体の一部のみに焦点を当てていますが、最近のいくつかのアプローチでは、顔と手を含む3Dボディモデルを使用して画像から完全な表現的な3Dヒューマンを再構築しています。これらの手法は最適化ベースであり、そのため遅く、局所的最適解に陥りやすく、2Dキーポイントを入力として必要とします。私たちはこれらの制限に対処するために、ExPose（EXpressive POse and Shape rEgression）を導入しました。これはRGB画像から直接SMPL-X形式でボディ、顔、手を回帰する手法です。この問題は高次元性を持つ身体と表現的な訓練データの不足により難易度が高いです。さらに、手や顔は身体よりもずっと小さく、画像内のピクセル数も非常に少ないため、ニューラルネットワークのために画像がダウンスケールされた場合に手や顔の推定が困難になります。私たちは主に三つの貢献を行いました。第一に、訓練データの不足に対応するために、「野生」状態の画像におけるSMPL-Xフィットのデータセットを作成しました。第二に、身体推定が顔と手を比較的正確に位置決めできることに注目し、元の画像中の顔と手領域に対する身体駆動型注意機構を導入しました。これにより高解像度クロップが抽出され、専用のリファインメントモジュールに入力されます。第三に、これらのモジュールは既存の顔専用および手専用データセットからの部位特有の知識を利用します。ExPoseは既存の最適化手法よりも大幅に低い計算コストでより正確な表現的な3Dヒューマンを推定します。私たちのデータセット、モデルおよびコードは研究目的でhttps://expose.is.tue.mpg.de から利用可能です。