Über statische Merkmale hinaus: Zeitkonsistente 3D-Pose und -Form von Menschen aus Videos

Trotz des kürzlichen Erfolgs von Methoden zur 3D-Pose- und Formschätzung aus einzelnen Bildern ist die Rekonstruktion zeitlich konsistenter und fließender 3D-Menschbewegungen aus einem Video nach wie vor eine Herausforderung. Mehrere videobasierte Ansätze wurden vorgeschlagen, scheitern jedoch an der Lösung des Problems der zeitlichen Inkonsistenzen der bildbasierten Methoden aufgrund einer starken Abhängigkeit von den statischen Merkmalen des aktuellen Frames. In diesem Kontext präsentieren wir ein System zur zeitlich konsistenten Netzwerkrekonstruktion (TCMR). Es konzentriert sich effektiv auf die zeitliche Information der vergangenen und zukünftigen Frames, ohne von den statischen Merkmalen des aktuellen Frames dominiert zu werden. Unser TCMR übertrifft die bisherigen videobasierten Methoden erheblich in Bezug auf die zeitliche Konsistenz und bietet gleichzeitig höhere Genauigkeit bei der Schätzung der 3D-Pose und -Form pro Frame. Wir stellen auch den Code bereit. Für das Demovideo siehe: https://youtu.be/WB3nTnSQDII. Für den Code siehe: https://github.com/hongsukchoi/TCMR_RELEASE.