ECON: 明示的な着衣人間の法線積分を用いた最適化

深層学習、アーティストによるスキャンのキュレーション、およびImplicit Functions（IF）の組み合わせにより、画像から詳細な衣装を着た3Dヒューマンモデルを作成することが可能になっています。しかし、既存の手法はまだ完璧ではありません。IFベースの手法は自由形状の幾何学を再現できますが、新しいポーズや衣装の場合には分離した四肢や変形した形状を生成する傾向があります。これらのケースに対する堅牢性を向上させるため、既存の研究では明示的なパラメトリックボディモデルを使用して表面再構築を制約していますが、これにより身体から逸脱するような緩い衣装などの自由形状表面の再現が制限されます。我々が目指しているのは、暗黙表現と明示的なボディ正則化の最良の特性を組み合わせた手法です。この目的のために、我々は2つの重要な観察を行いました：(1) 現在のネットワークは詳細な2Dマップを推論することの方が全体的な3D表面よりも得意であり、(2) パラメトリックモデルは詳細な表面パッチをつなぎ合わせるための「キャンバス」と見なすことができます。これらの観察に基づいて、我々の手法ECONは以下の3つの主要ステップで構成されています：(1) 衣装を着た人物の前面と背面に詳細な2D法線マップを推論します。(2) これらから等しく詳細だが不完備な2.5D前面と背面表面（d-BiNIと呼ばれます）を再現し、画像から回復されたSMPL-Xボディメッシュを使用して相互に登録します。(3) d-BiNI表面間で欠落している幾何学情報を補完します。顔や手がノイジーである場合は、オプションとしてSMPL-Xのもので置き換えることができます。その結果、ECONは緩い衣装や挑戦的なポーズでも高忠実度の3Dヒューマンモデルを推論することができます。CAPEおよびRenderpeopleデータセットにおける定量評価によると、これは以前の手法を超える性能を示しています。知覚的研究もまた、ECONが大幅に優れたリアリズムを持つことを示しています。研究目的でコードとモデルはecon.is.tue.mpg.deで公開されています。