Zu realistischen generativen 3D-Gesichtsmodellen

In den letzten Jahren hat es erhebliche Fortschritte bei 2D-generativen Gesichtsmodellen gegeben, getrieben durch Anwendungen wie Animation, die Generierung synthetischer Daten und digitale Avatare. Aufgrund des Fehlens 3D-Informationen stoßen diese 2D-Modelle jedoch häufig an ihre Grenzen, was die genaue Entkoppelung facialer Attribute wie Pose, Ausdruck und Beleuchtung betrifft, was ihre Editierfähigkeit einschränkt. Um diese Limitation zu überwinden, schlägt dieser Artikel ein 3D-steuerbares generatives Gesichtsmodell vor, das hochwertige Albedo und präzise 3D-Formen nutzt, um bestehende 2D-generative Modelle zu ergänzen. Durch die Kombination von 2D-Gesichtsgenerativmodellen mit semantischer Gesichtsmanipulation ermöglicht dieser Ansatz die Bearbeitung detaillierter 3D-renderer Gesichter. Der vorgeschlagene Rahmen nutzt einen alternierenden Abstiegs-Optimierungsansatz für Form und Albedo. Differenzierbares Rendering wird eingesetzt, um hochwertige Formen und Albedo ohne 3D-Supervision zu trainieren. Darüber hinaus übertrifft dieser Ansatz die aktuell besten (SOTA) Methoden im etablierten NoW-Benchmark für die Formrekonstruktion. Zudem erreicht er im Vergleich zu den SOTA-Rekonstruktionsmodellen eine durchschnittliche Verbesserung von 10 % bei der Identitätsrekonstruktion gerenderte Gesichter in neuen Positonen. Darüber hinaus zeigt die Arbeit eine direkte Steuerung von Ausdrücken in 3D-Gesichtern durch Ausnutzung des Latenzraums, was eine textbasierte Bearbeitung von 3D-Gesichtern ermöglicht.