計量および意味属性を使用した正確な3D体型回帰

画像から3Dヒューマンメッシュを回帰する手法は急速に進歩していますが、推定された体型はしばしば真の人体形状を捉えていません。これは、多くのアプリケーションにおいて正確な体型が姿勢と同様に重要であるため、問題となります。体型の精度が姿勢の精度に遅れをとる主な理由はデータの不足です。人間は2Dジョイントをラベリングできますが、これらは3D姿勢を制約します。しかし、3D体型を「ラベリング」することは容易ではありません。画像と3D体型のペアデータが希少であるため、私たちは2つの情報源を利用します：(1) 様々な「ファッション」モデルのインターネット画像と少量の人体寸法測定値を集めます；(2) 広範囲な3D体型メッシュとモデル画像に対して言語的な形状属性を集めます。これらのデータセットを組み合わせることで、密集した3D形状を推論するのに十分な制約が得られます。私たちはSHAPYと呼ばれるニューラルネットワークを訓練するために、人体寸法測定値と言語的な形状属性をいくつかの新しい方法で利用します。SHAPYはRGB画像から3Dヒューマンポーズと形状を回帰します。私たちは公開ベンチマークでSHAPYを評価しましたが、これらのベンチマークには有意義な体型変動、真実値形状、または衣装変動が欠けていることに注意しました。したがって、「野生の人体」（Human Bodies in the Wild）の写真とその真実値3Dボディスキャンを持つ新しいデータセットHBWを集めて、3Dヒューマン形状推定の評価を行いました。この新しいベンチマークにおいて、SHAPYは最新手法よりも大幅に優れた性能を示し、3D体型推定タスクで显著な成果を上げています。これは初めて、画像から3D体型回帰を行うモデルが容易に入手可能な人体寸法測定値（anthropometric measurements）と言語的な形状属性（linguistic shape attributes）から訓練できることが示されました。私たちのモデルとデータセットは以下のURLで公開されています：shapy.is.tue.mpg.de