HyperAIHyperAI
vor 2 Monaten

ECON: Explizite gekleidete Menschen durch Normalenintegration optimiert

Xiu, Yuliang ; Yang, Jinlong ; Cao, Xu ; Tzionas, Dimitrios ; Black, Michael J.
ECON: Explizite gekleidete Menschen durch Normalenintegration optimiert
Abstract

Die Kombination von tiefem Lernen, künstlerisch präparierten Scans und Impliziten Funktionen (IF) ermöglicht die Erstellung detaillierter, bekleideter, dreidimensionaler Menschen aus Bildern. Bestehende Methoden sind jedoch noch weit davon entfernt, perfekt zu sein. IF-basierte Ansätze rekonstruieren freiformige Geometrien, erzeugen aber für neue Pose- und Kleiderarten entkörperlichte Gliedmaßen oder degenerierte Formen. Um die Robustheit bei diesen Fällen zu erhöhen, verwenden bestehende Arbeiten ein explizites parametrisches Körpermodell, um die Oberflächenrekonstruktion einzuschränken. Dies begrenzt jedoch die Rekonstruktion von freiformigen Oberflächen wie loser Kleidung, die sich vom Körper abhebt. Wir streben eine Methode an, die die besten Eigenschaften der impliziten Darstellung und der expliziten Körperegularisierung kombiniert. Zu diesem Zweck machen wir zwei entscheidende Beobachtungen: (1) aktuelle Netze sind besser darin, detaillierte 2D-Karten als vollständige 3D-Oberflächen zu inferieren, und (2) ein parametrisches Modell kann als "Leinwand" betrachtet werden, auf der detaillierte Oberflächenflicken zusammengenäht werden. Auf dieser Grundlage hat unsere Methode ECON drei Hauptschritte: (1) Sie inferiert detaillierte 2D-Normalkarten für die Vorder- und Rückseite einer bekleideten Person. (2) Aus diesen wird eine 2.5D-Vorder- und Rückseite rekonstruiert, genannt d-BiNI, die gleichwertig detailliert ist, aber unvollständig; diese werden mithilfe eines aus dem Bild rekonstruierten SMPL-X-Körpergitters gegeneinander registriert. (3) Es "füllt" die fehlende Geometrie zwischen den d-BiNI-Oberflächen aus. Falls das Gesicht und die Hände rauschig sind, können sie optional durch die des SMPL-X ersetzt werden. Das Ergebnis ist, dass ECON hochgenaue 3D-Menschen selbst bei loser Kleidung und herausfordernden Poses inferiert. Dies übertrifft nach quantitativer Bewertung auf den Datensätzen CAPE und Renderpeople vorherige Methoden. Perzeptive Studien zeigen zudem, dass ECONs wahrgenommene Realität um ein großes Maß besser ist. Der Quellcode und Modelle sind für Forschungszwecke unter econ.is.tue.mpg.de verfügbar.

ECON: Explizite gekleidete Menschen durch Normalenintegration optimiert | Neueste Forschungsarbeiten | HyperAI