FusePose: دمج الحساسات IMU-الرؤية في الفضاء الحركي لتقدير وضعية الإنسان المعتمدة على المعلمات

توجد مشكلات صعبة في مهمة تقدير وضعية الإنسان ثلاثية الأبعاد، مثل الأداء المحدود الناتج عن الازدحام (الإغلاق الجزئي) والانغلاق الذاتي. في الآونة الأخيرة، يُنظر إلى دمج مستشعرات IMU والرؤية كوسيلة قيمة لحل هذه المشكلات. ومع ذلك، فإن الأبحاث السابقة المتعلقة بدمج بيانات IMU والرؤية، التي تُعدّ غير متجانسة، لم تتمكن من الاستفادة الكافية من البيانات الأولية لمستشعر IMU أو من الميزات البصرية عالية المستوى الموثوقة. ولتسهيل عملية دمج الحساسات بشكل أكثر كفاءة، نقترح في هذا العمل إطارًا يُسمى \emph{FusePose} ضمن نموذج حركي بشري معتمد على معلمات. بشكل خاص، نقوم بتجميع المعلومات المختلفة من بيانات IMU أو الرؤية، ونُقدّم ثلاث طرق تميّزية لدمج الحساسات: NaiveFuse، وKineFuse، وAdaDeepFuse. تُعتبر NaiveFuse نهجًا أساسيًا يُدمج فقط بيانات IMU المبسطة مع التقدير الثلاثي الأبعاد للوضعية في الفضاء الإقليدي. أما في الفضاء الحركي، فإن KineFuse قادرة على دمج بيانات IMU الأولية المُعدّلة والموافقة مع المعلمات الثلاثية الأبعاد للوضعية بعد تحويلها. وتم تطوير AdaDeepFuse بشكل أعمق لتحويل عملية الدمج الحركي إلى طريقة تكيفية وقابلة للتدريب من النهاية إلى النهاية. أظهرت التجارب الشاملة مع دراسات التحليل التجريبي منطقية وتفوّق الإطار المقترح. وقد تحسّن أداء تقدير وضعية الإنسان ثلاثية الأبعاد مقارنةً بالنتيجة الأساسية. على مجموعة بيانات Total Capture، تفوق KineFuse على أحدث الأداء السابق الذي يستخدم فقط IMU في الاختبار بنسبة 8.6٪. كما تفوق AdaDeepFuse على الأداء السابق الذي يستخدم IMU في التدريب والاختبار بنسبة 8.5٪. علاوةً على ذلك، قمنا بتوثيق قدرة التعميم لإطارنا من خلال تجارب أجريت على مجموعة بيانات Human3.6M.