
長年にわたる3Dヒューマン再構築の目標は、単一視点画像からリアルで完全に詳細な3Dヒューマンを作成することです。主な課題は、画像に見えない部分の未知の体形、外見、および衣装の詳細を推定することにあります。この課題に対処するために、私たちはSiTHという新しいパイプラインを提案します。SiTHは、画像条件付き拡散モデルを3Dメッシュ再構築ワークフローに独自に統合しています。当方法の中心には、単一視点再構築問題を生成的幻覚化と再構築のサブ問題に分解するというアプローチがあります。前者については、強力な生成的拡散モデルを使用して入力画像に基づいて見えない背面ビューの外見を幻覚化します。後者については、スキニングされたボディメッシュをガイドとして利用し、入力画像と背面ビュー画像から全身テクスチャメッシュを回復します。SiTHは訓練のために500件程度の3Dヒューマンスキャンしか必要とせず、多様な画像に対する一般的性と堅牢性を維持しています。2つの3Dヒューマンベンチマーク(うち1つは新規作成)における広範な評価により、当方法が3Dテクスチャ付きヒューマン再構築において優れた精度と知覚品質を持つことが示されました。私たちのコードと評価ベンチマークはhttps://ait.ethz.ch/sith で公開されています。科技/学术术语处理:- 3Dヒューマン再構築 (3D human reconstruction)- 単一視点画像 (single-view images)- 画像条件付き拡散モデル (image-conditioned diffusion model)- 3Dメッシュ (3D mesh)- パイプライン (pipeline)- 幻覚化 (hallucination)- スキニングされたボディメッシュ (skinned body meshes)- テクスチャメッシュ (texture meshes)