3D Human Mesh Schätzung aus virtuellen Markern

Angeregt durch den Erfolg der volumetrischen 3D-Gestenabschätzung schlagen einige neuere Ansätze zur menschlichen Mesh-Schätzung vor, 3D-Skelette als Zwischenrepräsentation zu schätzen, aus denen mittels Ausnutzung der Mesh-Topologie dichte 3D-Meshes regressiert werden. Allerdings geht bei der Extraktion der Skelette information über die Körperform verloren, was zu mittelmäßigen Leistungen führt. Fortgeschrittene Motion-Capture-Systeme lösen dieses Problem, indem sie dichte physische Marker auf der Körperoberfläche anbringen, was die Extraktion realistischer Meshes aus ihren nicht-rigidem Bewegungsverhalten ermöglicht. Diese Methode ist jedoch nicht auf Wildbilder ohne Marker anwendbar. In dieser Arbeit präsentieren wir eine neue Zwischenrepräsentation namens „virtuelle Marker“, die auf Basis großer Motion-Capture-Daten in einem generativen Stil 64 Landmarkenpunkte auf der Körperoberfläche lernt und somit die Wirkung physischer Marker nachahmt. Die virtuellen Marker können präzise aus Wildbildern detektiert werden und ermöglichen durch einfache Interpolation die Rekonstruktion intakter Meshes mit realistischen Formen. Unser Ansatz übertrifft die derzeit besten Methoden auf drei Datensätzen. Insbesondere erreicht er auf dem SURREAL-Datensatz, der eine vielfältige Vielfalt an Körperformen aufweist, eine deutlich bessere Leistung als bestehende Ansätze. Der Quellcode ist unter https://github.com/ShirleyMaxx/VirtualMarker verfügbar.