HyperAIHyperAI

Command Palette

Search for a command to run...

FrankMocap: Schnelle monokulare 3D-Hand- und Körperbewegungserfassung durch Regression und Integration

Yu Rong Takaaki Shiratori Hanbyul Joo

Zusammenfassung

Obwohl die wesentlichen Nuancen menschlicher Bewegung oft durch eine Kombination aus Körperbewegungen und Handgesten vermittelt werden, konzentrieren sich bestehende monokulare Motion-Capture-Verfahren meist entweder ausschließlich auf die Erfassung der Körperbewegung unter Vernachlässigung der Hände oder lediglich auf die Handbewegung ohne Berücksichtigung des Körpers. In diesem Paper stellen wir FrankMocap vor, ein Motion-Capture-System, das sowohl 3D-Hand- als auch 3D-Körperbewegung aus realen, monokularen Eingabedaten mit höherer Geschwindigkeit (9,5 fps) und besserer Genauigkeit als frühere Ansätze schätzt. Unser Verfahren arbeitet nahezu in Echtzeit (9,5 fps) und erzeugt 3D-Körper- und Handbewegungsausgaben als einheitliche parametrische Modellstruktur. Ziel unseres Ansatzes ist es, 3D-Körper- und Handbewegung gleichzeitig aus anspruchsvollen, realen monokularen Videos zu erfassen. Zur Entwicklung von FrankMocap haben wir eine state-of-the-art-Methode für die monokulare 3D-„Hand“-Bewegungserfassung auf Basis des gesamten körperlichen parametrischen Modells (SMPL-X) entwickelt, wobei speziell der Handteil des Modells genutzt wird. Unsere 3D-Handbewegungserfassung kann effizient mit den Ergebnissen der monokularen Körperbewegungserfassung integriert werden, wodurch Ergebnisse für die gesamte Körperbewegung in einer einheitlichen parametrischen Modellstruktur entstehen. Wir demonstrieren die state-of-the-art-Leistung unseres Handbewegungserfassungssystems an öffentlichen Benchmarks und zeigen die hohe Qualität unserer Gesamtkörperbewegungserfassung in verschiedenen anspruchsvollen realen Szenarien, einschließlich einer Live-Demo.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
FrankMocap: Schnelle monokulare 3D-Hand- und Körperbewegungserfassung durch Regression und Integration | Paper | HyperAI