3D Human Pose Estimation via Intuitive Physics

Die Schätzung von 3D-Menschen aus Bildern erzeugt oft unrealistische Körper, die geneigt, schwebend oder durch den Boden hindurchdringen. Diese Methoden ignorieren die Tatsache, dass Körper typischerweise durch die Umgebung gestützt werden. Ein Physik-Engine könnte die physikalische Plausibilität erzwingen, ist jedoch nicht differenzierbar, basiert auf unrealistischen Ersatzkörpern und schwer in bestehende Optimierungs- und Lernframeworks integrierbar. Im Gegensatz dazu nutzen wir neuartige intuitive-Physik-(IP)-Terme, die aus der Interaktion eines 3D-SMPL-Körpers mit der Szene abgeleitet werden können. Angelehnt an die Biomechanik schätzen wir die Druck-Heatmap auf dem Körper, den Center of Pressure (CoP) aus der Heatmap und den Schwerpunkt (Center of Mass, CoM) des SMPL-Körpers. Mit diesen Informationen entwickeln wir IPMAN, um aus einem Farbbild eine 3D-Körperkonfiguration in einer „stabilen“ Lage zu schätzen, indem wir realistische Bodenkontakte fördern und die Überlappung von CoP und CoM anstreben. Unsere IP-Terme sind intuitiv, einfach zu implementieren, schnell berechenbar, differenzierbar und lassen sich nahtlos in bestehende Optimierungs- und Regressionsmethoden integrieren. Wir evaluieren IPMAN anhand standardisierter Datensätze sowie an MoYo, einem neuen Datensatz mit synchronisierten Mehransichtsbildern, ground-truth 3D-Körpern mit komplexen Pose, Körper-Boden-Kontakten, CoM und Druckverteilung. IPMAN liefert plausiblere Ergebnisse als die derzeit beste State-of-the-Art-Methode, verbessert die Genauigkeit bei statischen Posen, ohne die Leistung bei dynamischen Posen zu beeinträchtigen. Quellcode und Daten sind für Forschungszwecke unter https://ipman.is.tue.mpg.de verfügbar.