2Dコレクションからのテキストガイダンスによる3Dヒューマン生成

3Dヒューマンモデリングは、ゲーム、映画、アニメーションにおける没入型のインタラクションに広く利用されています。これらのキャラクターのカスタマイズは、創造性と拡張性にとって重要であり、制御可能性の重要性を強調しています。本研究では、テキストガイダンスによる3Dヒューマン生成（\texttt{T3H}）を導入します。ここで、モデルはファッションの説明に基づいて3Dヒューマンを生成します。この\texttt{T3H}タスクには2つの目標があります：1) 3Dヒューマンが明瞭にレンダリングされること、2) その衣装が与えられたテキストによって制御されることです。この\texttt{T3H}タスクに対処するために、我々は組成的なクロスモーダルヒューマン（CCH）を提案します。CCHはクロスモーダルアテンションを採用し、組成的なヒューマンレンダリングと抽出されたファッションセマンティクスを融合させます。各ヒューマンボディパーツは関連するテキストガイダンスを視覚パターンとして認識します。また、ヒューマンプリオールとセマンティック判別を組み込むことで、3Dジオメトリ変換と細かい一貫性を向上させ、2Dコレクションから効率的に学習できるようにしています。私たちはDeepFashionとSHHQデータセットにおいて多様なファッション属性（上半身と下半身の形状、素材、色）を使用して評価を行いました。広範な実験により、CCHが高効率で\texttt{T3H}において優れた結果を達成することが示されました。