PIFu: ピクセルアライメントされた暗黙の関数を用いた高解像度の衣服付き人間のデジタル化

私たちはピクセルアライメントインプリシット関数（Pixel-aligned Implicit Function: PIFu）を紹介します。これは、2次元画像のピクセルを対応する3次元オブジェクトの全体的なコンテキストと局所的にアライメントさせる非常に効果的なインプリシット表現です。PIFuを使用することで、単一の画像から3次元表面とテクスチャを推論し、必要に応じて複数の入力画像を使用して、詳細な衣装付きの人間をデジタル化するためのエンドツーエンドの深層学習手法を提案します。髪型や衣装などの非常に複雑な形状、そのバリエーションや変形が統一された方法でデジタル化できます。既存の3次元深層学習で使用されている表現と比較すると、PIFuは人間の背面など、これまでほとんど見られなかった領域も含む高解像度の表面を生成することができます。特に、ボクセル表現とは異なりメモリ効率が高く、任意のトポロジーに対応でき、生成された表面は入力画像と空間的にアライメントされます。さらに、従来の手法が単一の画像または複数ビューの処理に設計されている一方で、PIFuは自然に任意数のビューに対応できます。私たちはDeepFashionデータセットから得られる実世界の画像を使用して、高解像度かつ堅牢な再構成を示しています。このデータセットには様々な挑戦的な衣装タイプが含まれています。私たち的方法は公開ベンチマークにおいて最先端の性能を達成しており、単一画像からの衣装付き人間デジタル化において先行研究を上回っています。