IDE-3D: Interaktive Entwirrte Bearbeitung für hochaufgelöste 3D-bewusste Porträtsynthese

Bestehende 3D-bewusste Methoden zur Gesichtserzeugung stehen vor einem Dilemma zwischen Qualität und Bearbeitbarkeit: Sie erzeugen entweder in niedriger Auflösung bearbeitbare Ergebnisse oder hochwertige Ergebnisse ohne Bearbeitbarkeit. In dieser Arbeit schlagen wir einen neuen Ansatz vor, der das Beste aus beiden Welten vereint. Unser System besteht aus drei Hauptkomponenten: (1) einem 3D-Semantik-bewussten Generativmodell, das ansichtskonsistente, getrennte Gesichtsbilder und semantische Masken erzeugt; (2) einem hybriden GAN-Inversionsansatz, der die latenten Codes vom semantischen und Textur-Encoder initialisiert und sie für eine treue Rekonstruktion weiter optimiert; sowie (3) einem kanonischen Editor, der eine effiziente Manipulation von semantischen Masken in der kanonischen Ansicht ermöglicht und hochwertige Bearbeitungsergebnisse liefert. Unser Ansatz ist für viele Anwendungen geeignet, z.B. freie Gesichtszeichnung, -bearbeitung und Stilsteuerung. Sowohl quantitative als auch qualitative Ergebnisse zeigen, dass unsere Methode den Stand der Technik hinsichtlich Photorealismus, Treue und Effizienz erreicht.