Expressive Body Capture: 3D Hände, Gesicht und Körper aus einem einzelnen Bild

Um die Analyse menschlicher Bewegungen, Interaktionen und Emotionen zu erleichtern, berechnen wir ein 3D-Modell der Körperform, Handhaltung und Gesichtsausdruck aus einem einzelnen monokularen Bild. Um dies zu erreichen, verwenden wir Tausende von 3D-Scans, um ein neues, vereintes 3D-Modell des menschlichen Körpers, SMPL-X, zu trainieren. Dieses Modell erweitert SMPL um vollständig artikulierte Hände und einen ausdrucksstarken Gesichtsbereich. Das direkte Lernen der Parameter von SMPL-X aus Bildern ist ohne gepaarte Bilder und 3D-Referenzwerte herausfordernd. Daher folgen wir dem Ansatz von SMPLify, das zunächst 2D-Features schätzt und dann die Modellparameter optimiert, um diesen Features anzupassen.Wir verbessern SMPLify auf mehrere wesentliche Arten: (1) Wir erkennen 2D-Features, die dem Gesicht, den Händen und den Füßen entsprechen, und passen das vollständige SMPL-X-Modell an diese an; (2) Wir trainieren eine neue neuronale Netzwerk-Pose-Priorisierung mit einem großen MoCap-Datensatz; (3) Wir definieren eine neue Interpenetrierungsstrafe, die sowohl schnell als auch genau ist; (4) Wir erkennen automatisch das Geschlecht und das entsprechende Körpermodell (männlich, weiblich oder neutral); (5) Unsere PyTorch-Implementierung erreicht eine Beschleunigung von mehr als 8-fach im Vergleich zu Chumpy. Mit der neuen Methode SMPLify-X fitten wir SMPL-X sowohl an kontrollierte Bilder als auch an Bilder im Wild. Die Genauigkeit in 3D wird anhand eines neu zusammengestellten Datensatzes evaluiert, der 100 Bilder mit Pseudo-Referenzwerten enthält. Dies ist ein Schritt hin zu automatischer expressiver Menschenfassung aus monokularer RGB-Daten. Die Modelle, Code und Daten sind für Forschungszwecke unter https://smpl-x.is.tue.mpg.de verfügbar.