PC-HMR: Pose Calibration für die 3D-Human-Mesh-Rekonstruktion aus 2D-Bildern/Videos

Der end-to-end-Ansatz der menschlichen Mesh-Rekonstruktion (Human Mesh Recovery, HMR) wurde erfolgreich für die 3D-Körperrekonstruktion eingesetzt. Allerdings rekonstruieren die meisten auf HMR basierenden Frameworks den menschlichen Körper, indem sie direkt aus Bildern oder Videos die Mesh-Parameter lernen, wobei jedoch fehlt, dass die visuellen Daten explizite Anleitungen bezüglich der 3D-Körperpose enthalten. Dadurch erzeugen die generierten Meshes häufig fehlerhafte Pose bei komplexen Aktivitäten. Um dieses Problem anzugehen, schlagen wir vor, die 3D-Pose zur Kalibrierung des menschlichen Meshes zu nutzen. Konkret entwickeln wir zwei neuartige Frameworks zur Pose-Kalibrierung: Serial PC-HMR und Parallel PC-HMR. Durch die serielle oder parallele Kopplung fortschrittlicher 3D-Pose-Verfolgungsalgorithmen mit HMR können diese beiden Frameworks den menschlichen Mesh effektiv korrigieren, unterstützt durch ein kompaktes Kalibrierungsmodul. Zudem ermöglicht die Gestaltung des Kalibrierungsmoduls mittels nicht-rigider Pose-Transformation eine flexible Behandlung von Knochenlängenvariationen, was Verzerrungen im kalibrierten Mesh reduziert. Schließlich basieren unsere Frameworks auf einer generischen und komplementären Integration datengetriebener Lernverfahren und geometrischer Modellierung. Durch plug-and-play-Module können sie effizient für die menschliche Mesh-Rekonstruktion auf Basis von Bildern oder Videos angepasst werden. Zudem erfordern sie im Testphase keine zusätzlichen 3D-Pose-Annotationen, was die praktische Anwendung erheblich erleichtert. Wir führen umfangreiche Experimente auf etablierten Benchmarks durch, darunter Human3.6M, 3DPW und SURREAL, wobei unsere PC-HMR-Frameworks die derzeit besten Ergebnisse (State-of-the-Art, SOTA) erzielen.