IDE-3D: 高解像度3D認識ポートレート合成のためのインタラクティブな分離編集

既存の3D認識顔生成手法は、品質と編集可能性のジレンマに直面しています。これらの手法は、低解像度で編集可能な結果を生成するか、または高品質な結果を生成しますが編集の柔軟性はありません。本研究では、両者の最良点を組み合わせた新しいアプローチを提案します。当システムは以下の3つの主要コンポーネントから構成されています：(1) 3D意味認識生成モデル（3D-semantics-aware generative model）で、視点の一貫性があり、分離された顔画像と意味マスクを生成します；(2) 意味とテクスチャエンコーダから潜在コードを初期化し、忠実な再構築のためにさらに最適化するハイブリッドGAN逆転換手法（hybrid GAN inversion approach）；(3) 正準ビューでの意味マスクの効率的な操作を可能にし、高品質な編集結果を提供する正準エディタ（canonical editor）。当アプローチは多くの応用に対して有能であり、例えば自由視点の顔描画、編集、スタイル制御などが挙げられます。定量的および定性的評価結果は、当方法が写実性、忠実性、効率性において最先端レベルに達していることを示しています。