HyperAIHyperAI

Command Palette

Search for a command to run...

Mo2Cap2: Echtzeit-basierte 3D-Bewegungserfassung mit einem am Kopf montierten Fisheye-Kamera-System

Zusammenfassung

Wir stellen den ersten Echtzeitansatz für die egozentrische Schätzung der 3D-Körperhaltung in einer breiten Palette an unbeschränkten Alltagsaktivitäten vor. Dieser Anwendungsfall bringt eine Reihe einzigartiger Herausforderungen mit sich, wie beispielsweise die Mobilität der Hardware-Aufstellung und die Robustheit gegenüber längeren Aufnahmesessions mit schneller Wiederherstellung nach Tracking-Fehlern. Diese Herausforderungen lösen wir durch eine neuartige, leichtgewichtige Lösung, bei der ein herkömmlicher Baseball-Cap in ein Gerät zur hochwertigen Haltungsabschätzung mittels einer einzigen am Cap befestigten Fisheye-Kamera umgewandelt wird. Aus dem erfassten egozentrischen Live-Stream läuft unser auf CNN basierender 3D-Haltungsabschätzungsalgorithmus mit 60 Hz auf einer Consumer-GPU. Neben der innovativen Hardware-Architektur sind unsere zentralen Beiträge folgende: 1) eine umfangreiche Ground-Truth-Trainingsdatenbank aus top-down gerichteten Fisheye-Bildern und 2) ein neuartiger, disentanglierter Ansatz zur 3D-Haltungsabschätzung, der die spezifischen Eigenschaften der egozentrischen Perspektive berücksichtigt. Wie unsere Evaluation zeigt, erreichen wir eine geringere 3D-Gelenkfehler als bestehende Baselines sowie eine bessere 2D-Überlagerung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp