複雑なポーズ下における単一視点からの3Dボディおよび衣装再構成

単一画像からの3次元人体形状再構成に関する最近の進展は、空間内の任意に密集した3次元点の占有状態を学習するための「陰関数（implicit function）」をモデル化する深層ネットワークを活用することで、驚くべき成果を上げている。しかし、このアプローチに基づく現在のアルゴリズム（例：PiFuHD）は、人体形状および衣装の正確な幾何形状を推定できるものの、高解像度の入力画像を必要とし、複雑な体勢（ポーズ）を捉えることはできない。現在の大多数の訓練および評価は、カメラに対して中立的な体勢で立っている人物の1k解像度画像を対象として行われている。本論文では、公開されているデータを活用して、従来の陰関数ベースのモデルを、任意のポーズや自己遮蔽肢を含む画像に対応可能なものへと拡張する。我々は、陰関数の表現力が、幾何形状の細部と体勢の正確なモデリングを同時に達成するには不十分であると主張する。そこで、まず入力画像から低レベルの詳細性を持つ3次元人体形状を、複雑な体勢に対しても正確に適合するように学習する陰関数を初期段階で学習する粗いから細かい（coarse-to-fine）アプローチを提案する。その後、滑らかな表面と入力画像を条件として、衣装および身体の高周波成分（高頻度の細部）を符号化する変位マップ（displacement map）を学習する。実験結果では、この粗いから細かい戦略が、形状の詳細性と体勢の正確性の間に非常に優れたトレードオフを実現しており、最新の最先端手法と比較しても優れた性能を示すことを示している。本研究のコードは、公開予定である。