Freiform-Deformation für die 3D-Gesichtsrekonstruktion aus Wildbilder lernen

Das 3D-Morphable-Modell (3DMM), ein auf der Hauptkomponentenanalyse (PCA) basierendes statistisches Modell, das ein 3D-Gesicht mit linearen Basisfunktionen darstellt, hat vielversprechende Ergebnisse bei der Rekonstruktion von 3D-Gesichtern aus Einzelaufnahmen im freien Feld gezeigt. Allerdings ist die Darstellungskraft des 3DMM wegen der begrenzten Anzahl an 3D-Scans und den globalen linearen Basisfunktionen eingeschränkt. Um die Einschränkungen des 3DMM zu überwinden, schlagen wir eine einfache lernbasierte Methode vor, die erstmals durch Freiformdeformation (FFD) ein 3D-Gesichtsgitter rekonstruiert. FFD ist eine geometrische Modellierungsmethode, die ein Referenzgitter in einem Parallelepipedengitter einbettet und das Gitter durch Verschieben der dünnbesetzten Kontrollpunkte deformiert. Da FFD auf mathematisch definierten Basisfunktionen basiert, gibt es keine Einschränkung in Bezug auf die Darstellungskraft. Somit können wir genaue 3D-Gesichtsgitter durch Schätzen geeigneter Abweichungen der Kontrollpunkte als Deformationsparameter wiederherstellen. Obwohl sowohl 3DMM als auch FFD parametrische Modelle sind, ist es schwierig, den Einfluss der 3DMM-Parameter auf die Gesichtsform vorherzusagen, während die Deformationsparameter von FFD hinsichtlich ihres Effekts auf die endgültige Form des Gitters interpretierbar sind. Dieser praktische Vorteil von FFD ermöglicht es, dass das resultierende Gitter und die Kontrollpunkte einen guten Ausgangspunkt für die 3D-Gesichtsmodellierung bieten, da normale Benutzer das Gitter mit weit verbreiteten 3D-Softwarewerkzeugen feinjustieren können. Experimente mit mehreren Datensätzen zeigen, wie unsere Methode erfolgreich die 3D-Gesichtsgeometrie und -ausdrücke aus 2D-Gesichtsbildern schätzt und vergleichbare Leistungen wie state-of-the-art Methoden erzielt.