HyperAIHyperAI

Command Palette

Search for a command to run...

PC-HMR: Pose Calibration für die 3D-Human-Mesh-Rekonstruktion aus 2D-Bildern/Videos

Tianyu Luan Yali Wang Junhao Zhang Zhe Wang Zhipeng Zhou Yu Qiao

Zusammenfassung

Der end-to-end-Ansatz der menschlichen Mesh-Rekonstruktion (Human Mesh Recovery, HMR) wurde erfolgreich für die 3D-Körperrekonstruktion eingesetzt. Allerdings rekonstruieren die meisten auf HMR basierenden Frameworks den menschlichen Körper, indem sie direkt aus Bildern oder Videos die Mesh-Parameter lernen, wobei jedoch fehlt, dass die visuellen Daten explizite Anleitungen bezüglich der 3D-Körperpose enthalten. Dadurch erzeugen die generierten Meshes häufig fehlerhafte Pose bei komplexen Aktivitäten. Um dieses Problem anzugehen, schlagen wir vor, die 3D-Pose zur Kalibrierung des menschlichen Meshes zu nutzen. Konkret entwickeln wir zwei neuartige Frameworks zur Pose-Kalibrierung: Serial PC-HMR und Parallel PC-HMR. Durch die serielle oder parallele Kopplung fortschrittlicher 3D-Pose-Verfolgungsalgorithmen mit HMR können diese beiden Frameworks den menschlichen Mesh effektiv korrigieren, unterstützt durch ein kompaktes Kalibrierungsmodul. Zudem ermöglicht die Gestaltung des Kalibrierungsmoduls mittels nicht-rigider Pose-Transformation eine flexible Behandlung von Knochenlängenvariationen, was Verzerrungen im kalibrierten Mesh reduziert. Schließlich basieren unsere Frameworks auf einer generischen und komplementären Integration datengetriebener Lernverfahren und geometrischer Modellierung. Durch plug-and-play-Module können sie effizient für die menschliche Mesh-Rekonstruktion auf Basis von Bildern oder Videos angepasst werden. Zudem erfordern sie im Testphase keine zusätzlichen 3D-Pose-Annotationen, was die praktische Anwendung erheblich erleichtert. Wir führen umfangreiche Experimente auf etablierten Benchmarks durch, darunter Human3.6M, 3DPW und SURREAL, wobei unsere PC-HMR-Frameworks die derzeit besten Ergebnisse (State-of-the-Art, SOTA) erzielen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
PC-HMR: Pose Calibration für die 3D-Human-Mesh-Rekonstruktion aus 2D-Bildern/Videos | Paper | HyperAI