HyperAIHyperAI

Command Palette

Search for a command to run...

Ein animierbares detailliertes 3D-Gesichtsmodell aus wilden Bildern lernen

YAO FENG* Max Planck Institute for Intelligent Systems and Max Planck ETH Center for Learning System, Germany HAIWEN FENG* Max Planck Institute for Intelligent Systems, Germany MICHAEL J. BLACK Max Planck Institute for Intelligent Systems, Germany TIMO BOLKART Max Planck Institute for Intelligent Systems, Germany

Zusammenfassung

Während aktuelle Methoden zur monokularen 3D-Gesichtsrekonstruktion feine geometrische Details wiederherstellen können, leiden sie unter mehreren Einschränkungen. Einige Methoden erzeugen Gesichter, die nicht realistisch animiert werden können, da sie nicht modellieren, wie Falten mit der Mimik variieren. Andere Methoden werden an hochwertigen Gesichtsscans trainiert und verallgemeinern sich nicht gut auf Bilder aus dem freien Feld. Wir präsentieren den ersten Ansatz, der die 3D-Gesichtsform und animierbare Details rekonstruiert, die einem Individuum spezifisch sind, aber mit der Mimik variieren. Unser Modell, DECA (Detailed Expression Capture and Animation), wird trainiert, um robust eine UV-Verschiebungskarte aus einer niedrigdimensionalen latenten Darstellung zu generieren, die aus personenspezifischen Detailparametern und generischen Ausdrucksparametern besteht. Gleichzeitig wird ein Regressor trainiert, um von einem einzelnen Bild aus Detail-, Form-, Albedo-, Ausdrucks-, Pose- und Beleuchtungsparameter vorherzusagen. Um dies zu ermöglichen, führen wir einen neuen Detailkonsistenzverlust ein, der personenspezifische Details von mimikabhängigen Falten trennt. Diese Trennung ermöglicht es uns, realistische personenspezifische Falten durch Kontrolle der Ausdrucksparameter zu synthetisieren, während die personenspezifischen Details unverändert bleiben. DECA wird anhand von Bildern aus dem freien Feld gelernt, ohne paarweise 3D-Überwachung und erreicht den Stand der Technik in Bezug auf die Rekonstruktionsgenauigkeit der Form auf zwei Benchmarks. Qualitative Ergebnisse an Daten aus dem freien Feld demonstrieren die Robustheit von DECA sowie seine Fähigkeit, identitätsspezifische und mimikabhängige Details voneinander zu trennen und damit die Animation rekonstruierter Gesichter zu ermöglichen. Das Modell und der Code sind öffentlich verfügbar unter https://deca.is.tue.mpg.de.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp