Neurale Körperanpassung: Vereinigung von Tiefenlernen und modellbasierter Schätzung von menschlicher Haltung und Form

Die direkte Vorhersage von 3D-Körperhaltung und -form stellt selbst für hochparametrisierte Deep-Learning-Modelle eine Herausforderung dar. Die Abbildung vom 2D-Bildraum in den Vorhersageraum ist schwierig: Perspektivische Ambiguitäten machen die Verlustfunktion rauschig, und Trainingsdaten sind knapp. In dieser Arbeit schlagen wir einen neuen Ansatz vor (Neural Body Fitting (NBF)). Dieser integriert ein statistisches Körpermodell in einem CNN und nutzt zuverlässige bodengestützte semantische Körperteilsegmentierung sowie robuste top-down Körpermodellrestriktionen. NBF ist vollständig differenzierbar und kann mit 2D- und 3D-Annotierungen trainiert werden. In detaillierten Experimenten analysieren wir, wie die Komponenten unseres Modells die Leistung beeinflussen, insbesondere die Verwendung von Teilsegmentierungen als explizite Zwischendarstellung, und präsentieren ein robustes, effizient trainierbares Framework zur Schätzung der 3D-Menschlichen Körperhaltung aus 2D-Bildern mit wettbewerbsfähigen Ergebnissen auf Standardbenchmarks. Der Code wird unter http://github.com/mohomran/neural_body_fitting verfügbar gemacht.