HyperAIHyperAI

Command Palette

Search for a command to run...

Zu realistischen generativen 3D-Gesichtsmodellen

Aashish Rai Hiresh Gupta Ayush Pandey Francisco Vicente Carrasco Shingo Jason Takagi Amaury Aubel Daeil Kim Aayush Prakash Fernando de la Torre

Zusammenfassung

In den letzten Jahren hat es erhebliche Fortschritte bei 2D-generativen Gesichtsmodellen gegeben, getrieben durch Anwendungen wie Animation, die Generierung synthetischer Daten und digitale Avatare. Aufgrund des Fehlens 3D-Informationen stoßen diese 2D-Modelle jedoch häufig an ihre Grenzen, was die genaue Entkoppelung facialer Attribute wie Pose, Ausdruck und Beleuchtung betrifft, was ihre Editierfähigkeit einschränkt. Um diese Limitation zu überwinden, schlägt dieser Artikel ein 3D-steuerbares generatives Gesichtsmodell vor, das hochwertige Albedo und präzise 3D-Formen nutzt, um bestehende 2D-generative Modelle zu ergänzen. Durch die Kombination von 2D-Gesichtsgenerativmodellen mit semantischer Gesichtsmanipulation ermöglicht dieser Ansatz die Bearbeitung detaillierter 3D-renderer Gesichter. Der vorgeschlagene Rahmen nutzt einen alternierenden Abstiegs-Optimierungsansatz für Form und Albedo. Differenzierbares Rendering wird eingesetzt, um hochwertige Formen und Albedo ohne 3D-Supervision zu trainieren. Darüber hinaus übertrifft dieser Ansatz die aktuell besten (SOTA) Methoden im etablierten NoW-Benchmark für die Formrekonstruktion. Zudem erreicht er im Vergleich zu den SOTA-Rekonstruktionsmodellen eine durchschnittliche Verbesserung von 10 % bei der Identitätsrekonstruktion gerenderte Gesichter in neuen Positonen. Darüber hinaus zeigt die Arbeit eine direkte Steuerung von Ausdrücken in 3D-Gesichtern durch Ausnutzung des Latenzraums, was eine textbasierte Bearbeitung von 3D-Gesichtern ermöglicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Zu realistischen generativen 3D-Gesichtsmodellen | Paper | HyperAI