Die Fusion von tragbaren IMUs mit Multiview-Bildern für die Schätzung der menschlichen Pose: Ein geometrischer Ansatz

Wir schlagen eine Methode zur Schätzung der 3D-Menschpose aus multiview-Bildern und wenigen an den Gliedmaßen angebrachten IMUs (Inertial Measurement Units) vor. Diese Methode arbeitet, indem zunächst 2D-Posen aus den beiden Signalen erkannt werden und diese anschließend in den 3D-Raum übertragen werden. Wir präsentieren einen geometrischen Ansatz, um die visuellen Merkmale jedes Paares von Gelenken auf Basis der IMUs zu verstärken. Dies verbessert die Genauigkeit der 2D-Pose-Schätzung insbesondere dann, wenn ein Gelenk verdeckt ist. Wir bezeichnen diesen Ansatz als Orientierungsreguliertes Netzwerk (Orientation Regularized Network, ORN). Anschließend heben wir die multiview-2D-Posen in den 3D-Raum durch ein Orientierungsreguliertes Bildstrukturmodell (Orientation Regularized Pictorial Structure Model, ORPSM), das gleichzeitig den Projektionsfehler zwischen den 3D- und 2D-Posen sowie die Diskrepanz zwischen der 3D-Pose und den IMU-Orientierungen minimiert. Der einfache zweistufige Ansatz reduziert den Fehler des aktuellen Standes der Technik auf einem öffentlichen Datensatz erheblich. Unser Code wird unter https://github.com/CHUNYUWANG/imu-human-pose-pytorch veröffentlicht werden.