Command Palette
Search for a command to run...
Mo2Cap2: Echtzeit-basierte 3D-Bewegungserfassung mit einem am Kopf montierten Fisheye-Kamera-System
Mo2Cap2: Echtzeit-basierte 3D-Bewegungserfassung mit einem am Kopf montierten Fisheye-Kamera-System
Zusammenfassung
Wir stellen den ersten Echtzeitansatz für die egozentrische Schätzung der 3D-Körperhaltung in einer breiten Palette an unbeschränkten Alltagsaktivitäten vor. Dieser Anwendungsfall bringt eine Reihe einzigartiger Herausforderungen mit sich, wie beispielsweise die Mobilität der Hardware-Aufstellung und die Robustheit gegenüber längeren Aufnahmesessions mit schneller Wiederherstellung nach Tracking-Fehlern. Diese Herausforderungen lösen wir durch eine neuartige, leichtgewichtige Lösung, bei der ein herkömmlicher Baseball-Cap in ein Gerät zur hochwertigen Haltungsabschätzung mittels einer einzigen am Cap befestigten Fisheye-Kamera umgewandelt wird. Aus dem erfassten egozentrischen Live-Stream läuft unser auf CNN basierender 3D-Haltungsabschätzungsalgorithmus mit 60 Hz auf einer Consumer-GPU. Neben der innovativen Hardware-Architektur sind unsere zentralen Beiträge folgende: 1) eine umfangreiche Ground-Truth-Trainingsdatenbank aus top-down gerichteten Fisheye-Bildern und 2) ein neuartiger, disentanglierter Ansatz zur 3D-Haltungsabschätzung, der die spezifischen Eigenschaften der egozentrischen Perspektive berücksichtigt. Wie unsere Evaluation zeigt, erreichen wir eine geringere 3D-Gelenkfehler als bestehende Baselines sowie eine bessere 2D-Überlagerung.