BodyNet: Volumetrische Inferenz von 3D-Körperformen

Die Schätzung der menschlichen Gestalt ist eine wichtige Aufgabe für Video-Editing, Animation und die Modeindustrie. Die Vorhersage der 3D-Menschengestalt aus natürlichen Bildern ist jedoch aufgrund von Faktoren wie der Variation von Körpern, Kleidung und Betrachtungswinkel hochgradig herausfordernd. Frühere Methoden, die dieses Problem angehen, versuchen in der Regel, parametrische Körpermodelle mit bestimmten Vorgaben zu Pose und Gestalt anzupassen. In dieser Arbeit plädieren wir für eine alternative Darstellung und schlagen BodyNet vor, ein neuronales Netzwerk zur direkten Inferenz des volumnetrischen Körpers aus einem einzelnen Bild. BodyNet ist ein von Anfang bis Ende trainierbares Netzwerk, das von (i) einem volumnetrischen 3D-Verlust, (ii) einem Mehrfachansicht-Rückprojektionsverlust und (iii) einer Zwischenaufsicht von 2D-Pose, 2D-Körperteilsegmentierung und 3D-Pose profitiert. Jeder dieser Aspekte führt zu einer Leistungsverbesserung, wie unsere Experimente zeigen. Um die Methode zu evaluieren, passen wir das SMPL-Modell an die Ausgabe unseres Netzes an und demonstrieren Stand-of-the-Art-Ergebnisse auf den Datensätzen SURREAL und Unite the People, wobei wir jüngere Ansätze übertrumpfen. Neben dem Erreichen von Stand-of-the-Art-Leistungen ermöglicht unsere Methode auch die volumnetrische Segmentierung von Körperteilen.