Command Palette
Search for a command to run...
Expressive Body Capture: 3D Hände, Gesicht und Körper aus einem einzelnen Bild
Expressive Body Capture: 3D Hände, Gesicht und Körper aus einem einzelnen Bild
Georgios Pavlakos Vasileios Choutas Nima Ghorbani Timo Bolkart Ahmed A. A. Osman Dimitrios Tzionas Michael J. Black
Zusammenfassung
Um die Analyse menschlicher Bewegungen, Interaktionen und Emotionen zu erleichtern, berechnen wir ein 3D-Modell der Körperform, Handhaltung und Gesichtsausdruck aus einem einzelnen monokularen Bild. Um dies zu erreichen, verwenden wir Tausende von 3D-Scans, um ein neues, vereintes 3D-Modell des menschlichen Körpers, SMPL-X, zu trainieren. Dieses Modell erweitert SMPL um vollständig artikulierte Hände und einen ausdrucksstarken Gesichtsbereich. Das direkte Lernen der Parameter von SMPL-X aus Bildern ist ohne gepaarte Bilder und 3D-Referenzwerte herausfordernd. Daher folgen wir dem Ansatz von SMPLify, das zunächst 2D-Features schätzt und dann die Modellparameter optimiert, um diesen Features anzupassen.Wir verbessern SMPLify auf mehrere wesentliche Arten: (1) Wir erkennen 2D-Features, die dem Gesicht, den Händen und den Füßen entsprechen, und passen das vollständige SMPL-X-Modell an diese an; (2) Wir trainieren eine neue neuronale Netzwerk-Pose-Priorisierung mit einem großen MoCap-Datensatz; (3) Wir definieren eine neue Interpenetrierungsstrafe, die sowohl schnell als auch genau ist; (4) Wir erkennen automatisch das Geschlecht und das entsprechende Körpermodell (männlich, weiblich oder neutral); (5) Unsere PyTorch-Implementierung erreicht eine Beschleunigung von mehr als 8-fach im Vergleich zu Chumpy. Mit der neuen Methode SMPLify-X fitten wir SMPL-X sowohl an kontrollierte Bilder als auch an Bilder im Wild. Die Genauigkeit in 3D wird anhand eines neu zusammengestellten Datensatzes evaluiert, der 100 Bilder mit Pseudo-Referenzwerten enthält. Dies ist ein Schritt hin zu automatischer expressiver Menschenfassung aus monokularer RGB-Daten. Die Modelle, Code und Daten sind für Forschungszwecke unter https://smpl-x.is.tue.mpg.de verfügbar.