BodyNet: 3次元人間体型のボリューム推定

人間の形状推定は、ビデオ編集、アニメーション、ファッション産業において重要な課題となっています。しかし、自然画像から3D人間の体型を予測することは、人間の体型や衣服、視点の変化などの要因により非常に困難です。これまでのこの問題に対する手法は、一般的にポーズと形状に関する特定の事前知識を持つパラメトリックな体型モデルへの適合を試みています。本研究では、別の表現方法を提唱し、単一画像からの直接的な体積形状推定を行うニューラルネットワークであるBodyNetを提案します。BodyNetはエンドツーエンドで学習可能なネットワークであり、(i) 体積3D損失、(ii) 複数視点再投影損失、(iii) 2Dポーズ、2D身体部位セグメンテーション、3Dポーズの中間監督から恩恵を受けます。これらの各要素が性能向上につながることを実験結果で示しています。本手法の評価のために、SMPLモデルをネットワーク出力に適合させた結果、SURREALおよびUnite the Peopleデータセットにおいて最先端の成果を達成し、最近のアプローチを上回っています。最先端の性能を達成するだけでなく、本手法は体積的身体部位セグメンテーションも可能にします。