HyperAIHyperAI

Command Palette

Search for a command to run...

3D Human Pose Estimation via Intuitive Physics

Shashank Tripathi Lea Müller Chun-Hao P. Huang Omid Taheri Michael J. Black Dimitrios Tzionas

Zusammenfassung

Die Schätzung von 3D-Menschen aus Bildern erzeugt oft unrealistische Körper, die geneigt, schwebend oder durch den Boden hindurchdringen. Diese Methoden ignorieren die Tatsache, dass Körper typischerweise durch die Umgebung gestützt werden. Ein Physik-Engine könnte die physikalische Plausibilität erzwingen, ist jedoch nicht differenzierbar, basiert auf unrealistischen Ersatzkörpern und schwer in bestehende Optimierungs- und Lernframeworks integrierbar. Im Gegensatz dazu nutzen wir neuartige intuitive-Physik-(IP)-Terme, die aus der Interaktion eines 3D-SMPL-Körpers mit der Szene abgeleitet werden können. Angelehnt an die Biomechanik schätzen wir die Druck-Heatmap auf dem Körper, den Center of Pressure (CoP) aus der Heatmap und den Schwerpunkt (Center of Mass, CoM) des SMPL-Körpers. Mit diesen Informationen entwickeln wir IPMAN, um aus einem Farbbild eine 3D-Körperkonfiguration in einer „stabilen“ Lage zu schätzen, indem wir realistische Bodenkontakte fördern und die Überlappung von CoP und CoM anstreben. Unsere IP-Terme sind intuitiv, einfach zu implementieren, schnell berechenbar, differenzierbar und lassen sich nahtlos in bestehende Optimierungs- und Regressionsmethoden integrieren. Wir evaluieren IPMAN anhand standardisierter Datensätze sowie an MoYo, einem neuen Datensatz mit synchronisierten Mehransichtsbildern, ground-truth 3D-Körpern mit komplexen Pose, Körper-Boden-Kontakten, CoM und Druckverteilung. IPMAN liefert plausiblere Ergebnisse als die derzeit beste State-of-the-Art-Methode, verbessert die Genauigkeit bei statischen Posen, ohne die Leistung bei dynamischen Posen zu beeinträchtigen. Quellcode und Daten sind für Forschungszwecke unter https://ipman.is.tue.mpg.de verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
3D Human Pose Estimation via Intuitive Physics | Paper | HyperAI