Genaue 3D-Körperform-Regression unter Verwendung metrischer und semantischer Attribute

Während Methoden, die 3D-Menschengitter aus Bildern ableiten, rasch Fortschritte gemacht haben, fangen die geschätzten Körperformen oft nicht die wahre menschliche Form ein. Dies ist problematisch, da für viele Anwendungen eine genaue Körperform ebenso wichtig ist wie die Pose. Der entscheidende Grund, warum die Genauigkeit der Körperform der Genauigkeit der Pose hinterherhinkt, ist der Mangel an Daten. Während Menschen 2D-Gelenke kennzeichnen können und diese die 3D-Pose einschränken, ist es nicht so einfach, 3D-Körperform zu „kennzeichnen“. Da gepaarte Daten mit Bildern und 3D-Körperform selten sind, nutzen wir zwei Informationsquellen: (1) Wir sammeln Internetbilder von diversen „Mode“-Modellen zusammen mit einer kleinen Reihe anthropometrischer Messungen; (2) Wir sammeln linguistische Formattribute für einen breiten Spektrum an 3D-Körpergittern und den Modellbildern. Zusammen ergeben diese Datensätze ausreichende Einschränkungen zur Inferenz dichter 3D-Form. Wir nutzen die anthropometrischen Messungen und linguistischen Formattribute auf mehrere neuartige Weisen, um ein neuronales Netzwerk namens SHAPY zu trainieren, das 3D-menschliche Pose und Form aus einem RGB-Bild ableitet. Wir evaluieren SHAPY an öffentlichen Benchmarks, bemerken aber, dass diese entweder eine signifikante Variation der Körperform, Ground-Truth-Form oder Kleidungsvariation fehlen. Daher sammeln wir einen neuen Datensatz zur Evaluierung der Schätzung von 3D-menschlicher Form, genannt HBW (Human Bodies in the Wild), der Fotos von „Menschenkörpern in freier Wildbahn“ enthält, für die wir Ground-Truth-3D-Körperscans haben. Bei diesem neuen Benchmark übertrifft SHAPY erheblich state-of-the-art-Methoden bei der Aufgabe der Schätzung von 3D-Körperform. Dies ist die erste Demonstration, dass das Ableiten von 3D-Körperform aus Bildern mithilfe leicht erhältlicher anthropometrischer Messungen und linguistischer Formattribute trainiert werden kann. Unser Modell und unsere Daten sind unter folgender Adresse verfügbar: shapy.is.tue.mpg.de