Kollaborative Regression ausdrucksstarker Körper unter Verwendung der Moderation

Die Rekonstruktion von ausdrucksstarken Menschen aus Bildern ist entscheidend für das Verständnis menschlichen Verhaltens. Methoden zur Schätzung von 3D-Körpern, -Gesichtern oder -Händen haben erhebliche Fortschritte gemacht, jedoch getrennt voneinander. Gesichtsmethoden können eine genaue 3D-Form und geometrische Details rekonstruieren, benötigen aber einen engen Ausschnitt und haben Schwierigkeiten mit extremen Ansichten und niedriger Auflösung. Ganze-Körper-Methoden sind robust gegenüber einer breiten Palette von Pose-Variationen und Auflösungen, bieten aber nur eine grobe 3D-Gesichtsform ohne Details wie Falten. Um das Beste aus beiden Welten zu kombinieren, stellen wir PIXIE vor, ein System, das animierbare, ganztörpige 3D-Avatare mit realistischen Gesichtsdetails aus einem einzelnen Bild erstellt.Für dies nutzt PIXIE zwei zentrale Erkenntnisse. Erstens kombiniert bisherige Arbeit unabhängige Schätzungen von Körper-, Gesichts- und Handexperten unter gleicher Berücksichtigung ihrer Ergebnisse. PIXIE führt einen neuen Moderator ein, der die Merkmale der Experten nach ihrem Vertrauensgrad gewichtet zusammenführt. Alle Teil-Experten können so zum Ganzen beitragen, indem sie den gemeinsamen Formraum des SMPL-X über alle Körperteile hinweg nutzen. Zweitens ist die menschliche Form stark mit dem Geschlecht korreliert, was bisherige Arbeiten jedoch ignorieren. Wir kennzeichnen Trainingsbilder als männlich, weiblich oder nicht-binär und trainieren PIXIE mit einem neuen Formverlust (shape loss), um „geschlechtspezifische“ 3D-Körperformen zu schätzen.Neben den Parametern für die 3D-Körperpose und -Form schätzt PIXIE auch Ausdruck, Beleuchtung, Albedo und 3D-Gesichtsoberflächenverschiebungen. Quantitative und qualitative Bewertungen zeigen, dass PIXIE genauer die gesamte Körperform und detaillierten Gesichtsform schätzt als der aktuelle Stand der Technik. Die Modelle und der Code sind unter https://pixie.is.tue.mpg.de verfügbar.