دمج أجهزة IMU القابلة للارتداء مع الصور متعددة الزوايا لتقدير وضعية الإنسان: نهج هندسي

نقترح تقدير وضع الإنسان ثلاثي الأبعاد من صور متعددة الزوايا وبضعة أجهزة IMU مثبتة على أطراف الشخص. يعمل هذا النهج من خلال اكتشاف الوضعيات ثنائية الأبعاد من الإشارتين أولاً، ثم رفعها إلى الفضاء ثلاثي الأبعاد. نقدم نهجًا هندسيًا لتعزيز الخصائص البصرية لكل زوج من المفاصل بناءً على أجهزة IMU. وهذا يحسن بشكل ملحوظ دقة تقدير الوضعية ثنائية الأبعاد خاصة عندما يكون أحد المفاصل مخفيًا. نطلق على هذا النهج اسم شبكة التحكم في ориентация (Orientation Regularized Network - ORN). بعد ذلك، نرفع الوضعيات ثنائية الأبعاد المتعددة الزوايا إلى الفضاء ثلاثي الأبعاد باستخدام نموذج البنية الصورية مع التحكم في ориентация (Orientation Regularized Pictorial Structure Model - ORPSM)، والذي يقلل بشكل مشترك من خطأ الإسقاط بين الوضعيات ثلاثية وثنائية الأبعاد، بالإضافة إلى الاختلاف بين الوضعية ثلاثية الأبعاد وتوجهات جهاز IMU. يقلل هذا النهج ذو الخطوتين البسيطين من خطأ أفضل التقنيات الحالية بمقدار كبير على مجموعة بيانات عامة. سيتم إصدار شفرتنا المصدر في https://github.com/CHUNYUWANG/imu-human-pose-pytorch.