FrankMocap: Schnelle monokulare 3D-Hand- und Körperbewegungserfassung durch Regression und Integration

Obwohl die wesentlichen Nuancen menschlicher Bewegung oft durch eine Kombination aus Körperbewegungen und Handgesten vermittelt werden, konzentrieren sich bestehende monokulare Motion-Capture-Verfahren meist entweder ausschließlich auf die Erfassung der Körperbewegung unter Vernachlässigung der Hände oder lediglich auf die Handbewegung ohne Berücksichtigung des Körpers. In diesem Paper stellen wir FrankMocap vor, ein Motion-Capture-System, das sowohl 3D-Hand- als auch 3D-Körperbewegung aus realen, monokularen Eingabedaten mit höherer Geschwindigkeit (9,5 fps) und besserer Genauigkeit als frühere Ansätze schätzt. Unser Verfahren arbeitet nahezu in Echtzeit (9,5 fps) und erzeugt 3D-Körper- und Handbewegungsausgaben als einheitliche parametrische Modellstruktur. Ziel unseres Ansatzes ist es, 3D-Körper- und Handbewegung gleichzeitig aus anspruchsvollen, realen monokularen Videos zu erfassen. Zur Entwicklung von FrankMocap haben wir eine state-of-the-art-Methode für die monokulare 3D-„Hand“-Bewegungserfassung auf Basis des gesamten körperlichen parametrischen Modells (SMPL-X) entwickelt, wobei speziell der Handteil des Modells genutzt wird. Unsere 3D-Handbewegungserfassung kann effizient mit den Ergebnissen der monokularen Körperbewegungserfassung integriert werden, wodurch Ergebnisse für die gesamte Körperbewegung in einer einheitlichen parametrischen Modellstruktur entstehen. Wir demonstrieren die state-of-the-art-Leistung unseres Handbewegungserfassungssystems an öffentlichen Benchmarks und zeigen die hohe Qualität unserer Gesamtkörperbewegungserfassung in verschiedenen anspruchsvollen realen Szenarien, einschließlich einer Live-Demo.