Ein animierbares detailliertes 3D-Gesichtsmodell aus wilden Bildern lernen

Während aktuelle Methoden zur monokularen 3D-Gesichtsrekonstruktion feine geometrische Details wiederherstellen können, leiden sie unter mehreren Einschränkungen. Einige Methoden erzeugen Gesichter, die nicht realistisch animiert werden können, da sie nicht modellieren, wie Falten mit der Mimik variieren. Andere Methoden werden an hochwertigen Gesichtsscans trainiert und verallgemeinern sich nicht gut auf Bilder aus dem freien Feld. Wir präsentieren den ersten Ansatz, der die 3D-Gesichtsform und animierbare Details rekonstruiert, die einem Individuum spezifisch sind, aber mit der Mimik variieren. Unser Modell, DECA (Detailed Expression Capture and Animation), wird trainiert, um robust eine UV-Verschiebungskarte aus einer niedrigdimensionalen latenten Darstellung zu generieren, die aus personenspezifischen Detailparametern und generischen Ausdrucksparametern besteht. Gleichzeitig wird ein Regressor trainiert, um von einem einzelnen Bild aus Detail-, Form-, Albedo-, Ausdrucks-, Pose- und Beleuchtungsparameter vorherzusagen. Um dies zu ermöglichen, führen wir einen neuen Detailkonsistenzverlust ein, der personenspezifische Details von mimikabhängigen Falten trennt. Diese Trennung ermöglicht es uns, realistische personenspezifische Falten durch Kontrolle der Ausdrucksparameter zu synthetisieren, während die personenspezifischen Details unverändert bleiben. DECA wird anhand von Bildern aus dem freien Feld gelernt, ohne paarweise 3D-Überwachung und erreicht den Stand der Technik in Bezug auf die Rekonstruktionsgenauigkeit der Form auf zwei Benchmarks. Qualitative Ergebnisse an Daten aus dem freien Feld demonstrieren die Robustheit von DECA sowie seine Fähigkeit, identitätsspezifische und mimikabhängige Details voneinander zu trennen und damit die Animation rekonstruierter Gesichter zu ermöglichen. Das Modell und der Code sind öffentlich verfügbar unter https://deca.is.tue.mpg.de.