HyperAIHyperAI

Command Palette

Search for a command to run...

Kollaborative Regression ausdrucksstarker Körper unter Verwendung der Moderation

Yao Feng Vasileios Choutas Timo Bolkart Dimitrios Tzionas Michael J. Black

Zusammenfassung

Die Rekonstruktion von ausdrucksstarken Menschen aus Bildern ist entscheidend für das Verständnis menschlichen Verhaltens. Methoden zur Schätzung von 3D-Körpern, -Gesichtern oder -Händen haben erhebliche Fortschritte gemacht, jedoch getrennt voneinander. Gesichtsmethoden können eine genaue 3D-Form und geometrische Details rekonstruieren, benötigen aber einen engen Ausschnitt und haben Schwierigkeiten mit extremen Ansichten und niedriger Auflösung. Ganze-Körper-Methoden sind robust gegenüber einer breiten Palette von Pose-Variationen und Auflösungen, bieten aber nur eine grobe 3D-Gesichtsform ohne Details wie Falten. Um das Beste aus beiden Welten zu kombinieren, stellen wir PIXIE vor, ein System, das animierbare, ganztörpige 3D-Avatare mit realistischen Gesichtsdetails aus einem einzelnen Bild erstellt.Für dies nutzt PIXIE zwei zentrale Erkenntnisse. Erstens kombiniert bisherige Arbeit unabhängige Schätzungen von Körper-, Gesichts- und Handexperten unter gleicher Berücksichtigung ihrer Ergebnisse. PIXIE führt einen neuen Moderator ein, der die Merkmale der Experten nach ihrem Vertrauensgrad gewichtet zusammenführt. Alle Teil-Experten können so zum Ganzen beitragen, indem sie den gemeinsamen Formraum des SMPL-X über alle Körperteile hinweg nutzen. Zweitens ist die menschliche Form stark mit dem Geschlecht korreliert, was bisherige Arbeiten jedoch ignorieren. Wir kennzeichnen Trainingsbilder als männlich, weiblich oder nicht-binär und trainieren PIXIE mit einem neuen Formverlust (shape loss), um „geschlechtspezifische“ 3D-Körperformen zu schätzen.Neben den Parametern für die 3D-Körperpose und -Form schätzt PIXIE auch Ausdruck, Beleuchtung, Albedo und 3D-Gesichtsoberflächenverschiebungen. Quantitative und qualitative Bewertungen zeigen, dass PIXIE genauer die gesamte Körperform und detaillierten Gesichtsform schätzt als der aktuelle Stand der Technik. Die Modelle und der Code sind unter https://pixie.is.tue.mpg.de verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Kollaborative Regression ausdrucksstarker Körper unter Verwendung der Moderation | Paper | HyperAI