FrankMocap: Ein monokularer 3D-Ganzkörper-Pose-Schätzungssystem durch Regression und Integration

Die meisten bestehenden Ansätze zur monokularen 3D-Gesamtkörper-Pose-Schätzung konzentrieren sich lediglich auf einen einzelnen Körperteil und vernachlässigen dabei, dass die essentiellen Feinheiten menschlicher Bewegungen durch eine koordinierte Abfolge subtiler Bewegungen von Gesicht, Händen und Körper vermittelt werden. In diesem Paper stellen wir FrankMocap vor – ein schnelles und präzises System zur 3D-Gesamtkörper-Pose-Schätzung, das aus monokularen Bildern aus natürlicher Umgebung gleichzeitig 3D-Posen für Gesicht, Hände und Körper erzeugen kann. Der zentrale Ansatz von FrankMocap basiert auf einem modularen Design: Zunächst führen wir unabhängig voneinander 3D-Pose-Regression-Methoden für Gesicht, Hände und Körper durch, gefolgt von der Zusammenführung der Regressionsausgaben mittels eines Integrationsmoduls. Die getrennten Regressionsmodule ermöglichen es uns, die Leistungsfähigkeit der jeweiligen State-of-the-Art-Methoden voll auszunutzen, ohne dabei die ursprüngliche Genauigkeit und Zuverlässigkeit zu beeinträchtigen. Wir entwickeln drei verschiedene Integrationsmodule, die verschiedene Kompromisse zwischen Latenz und Genauigkeit eingehen. Alle drei sind in der Lage, einfache, jedoch effektive Lösungen bereitzustellen, um die getrennten Ausgaben nahtlos zu einer konsistenten Gesamtkörper-Pose-Schätzung zu integrieren. Quantitative und qualitative Evaluierungen zeigen, dass unser modulares System sowohl gegenüber Optimierungsansätzen als auch gegenüber end-to-end-Methoden zur Gesamtkörper-Pose-Schätzung überlegen ist.