Command Palette
Search for a command to run...
Mo2Cap2: التقاط الحركة ثلاثي الأبعاد في الزمن الفعلي باستخدام كاميرا متحركة مثبتة على القبعة وذات مجال رؤية واسع
Mo2Cap2: التقاط الحركة ثلاثي الأبعاد في الزمن الفعلي باستخدام كاميرا متحركة مثبتة على القبعة وذات مجال رؤية واسع
الملخص
نُقدّم أول منهجية لحظية لتقدير وضعية الجسم البشري ثلاثية الأبعاد من منظور ذاتي في مجموعة واسعة من الأنشطة اليومية غير المقيدة. ويتميز هذا السياق بسلسلة من التحديات الفريدة، مثل حركة المعدات المثبتة، والمتانة أثناء الجلسات الطويلة لالتقاط البيانات، مع القدرة على الاستجابة السريعة لإعادة استعادة التتبع في حال حدوث فشل. ونواجه هذه التحديات من خلال تجربة معدات خفيفة الوزن جديدة، تقوم بتحويل قبعة بيسبول عادية إلى جهاز لتقدير وضعية الجسم عالي الجودة، باستخدام كاميرا فوكوز (Fisheye) مثبتة على القبعة فقط. ومن خلال البث الحي الذاتي المُلتقط، يعمل منهجنا القائم على الشبكة العصبية العميقة (CNN) لتقدير الوضعية ثلاثية الأبعاد بتردد 60 هرتز على وحدة معالجة رسومات من الفئة المستهلكة. بالإضافة إلى التصميم المبتكر للمعدات، تتمثل مساهماتنا الرئيسية الأخرى في: 1) مجموعة بيانات تدريب ضخمة مبنية على صور فوكوز من الأعلى (Top-down Fisheye Images)، و2) منهجية جديدة لتقدير الوضعية ثلاثية الأبعاد منفصلة (Disentangled 3D Pose Estimation) تأخذ بعين الاعتبار الخصائص الفريدة لمنظور الذاتي. وكما يُظهر تقييمنا، نحقق أخطاءً أقل في المفاصل ثلاثية الأبعاد، بالإضافة إلى تراكب ثنائي الأبعاد أفضل مقارنةً بالأساليب القائمة.