Command Palette
Search for a command to run...
Kollaborative Regression ausdrucksstarker Körper unter Verwendung der Moderation
Kollaborative Regression ausdrucksstarker Körper unter Verwendung der Moderation
Yao Feng Vasileios Choutas Timo Bolkart Dimitrios Tzionas Michael J. Black
Zusammenfassung
Die Rekonstruktion von ausdrucksstarken Menschen aus Bildern ist entscheidend für das Verständnis menschlichen Verhaltens. Methoden zur Schätzung von 3D-Körpern, -Gesichtern oder -Händen haben erhebliche Fortschritte gemacht, jedoch getrennt voneinander. Gesichtsmethoden können eine genaue 3D-Form und geometrische Details rekonstruieren, benötigen aber einen engen Ausschnitt und haben Schwierigkeiten mit extremen Ansichten und niedriger Auflösung. Ganze-Körper-Methoden sind robust gegenüber einer breiten Palette von Pose-Variationen und Auflösungen, bieten aber nur eine grobe 3D-Gesichtsform ohne Details wie Falten. Um das Beste aus beiden Welten zu kombinieren, stellen wir PIXIE vor, ein System, das animierbare, ganztörpige 3D-Avatare mit realistischen Gesichtsdetails aus einem einzelnen Bild erstellt.Für dies nutzt PIXIE zwei zentrale Erkenntnisse. Erstens kombiniert bisherige Arbeit unabhängige Schätzungen von Körper-, Gesichts- und Handexperten unter gleicher Berücksichtigung ihrer Ergebnisse. PIXIE führt einen neuen Moderator ein, der die Merkmale der Experten nach ihrem Vertrauensgrad gewichtet zusammenführt. Alle Teil-Experten können so zum Ganzen beitragen, indem sie den gemeinsamen Formraum des SMPL-X über alle Körperteile hinweg nutzen. Zweitens ist die menschliche Form stark mit dem Geschlecht korreliert, was bisherige Arbeiten jedoch ignorieren. Wir kennzeichnen Trainingsbilder als männlich, weiblich oder nicht-binär und trainieren PIXIE mit einem neuen Formverlust (shape loss), um „geschlechtspezifische“ 3D-Körperformen zu schätzen.Neben den Parametern für die 3D-Körperpose und -Form schätzt PIXIE auch Ausdruck, Beleuchtung, Albedo und 3D-Gesichtsoberflächenverschiebungen. Quantitative und qualitative Bewertungen zeigen, dass PIXIE genauer die gesamte Körperform und detaillierten Gesichtsform schätzt als der aktuelle Stand der Technik. Die Modelle und der Code sind unter https://pixie.is.tue.mpg.de verfügbar.