Mo2Cap2: التقاط الحركة ثلاثية الأبعاد في الوقت الحقيقي باستخدام كاميرا عين السمكة المثبتة على القبعة

نقترح أول نهج في الوقت الفعلي لتقدير وضع الجسم البشري ثلاثي الأبعاد من وجهة نظر الذات في مجموعة واسعة من الأنشطة اليومية غير المقيدة. يواجه هذا الإعداد تحديات فريدة، مثل حركة تكوين الأجهزة ومتانة الجلسات الطويلة للتقاط مع استعادة سريعة من فشل تتبع الحركة. نعالج هذه التحديات باستخدام تكوين خفيف الوزن جديد يحول قبعة البيسبول القياسية إلى جهاز لتقدير وضع عالي الجودة بناءً على كاميرا واحدة مثبتة على القبعة ذات الزاوية العريضة (fisheye). من خلال البث الحي الملتقط من وجهة نظر الذات، يعمل نهجنا لتقدير الوضع ثلاثي الأبعاد المستند إلى شبكات النيورونات العصبية الم convoled (CNN) بمعدل 60 هرتز على بطاقة رسوميات مستوي الاستهلاك. بالإضافة إلى التكوين الجديد للأجهزة، فإن إسهاماتنا الرئيسية الأخرى هي: 1) مكتبة تدريب كبيرة تحتوي على صور زاوية علوية عالية الدقة من الكاميرات ذات الزاوية العريضة (fisheye)، و2) نهج تقدير وضع ثلاثي الأبعاد جديد ومفكك يأخذ الخصائص الفريدة لنقطة النظر الذاتية بعين الاعتبار. كما تظهر تقييماتنا، فإننا نحقق خطأ أقل في المفاصل ثلاثية الأبعاد وكذلك غلاف أفضل في الصور ثنائية الأبعاد مقارنة بالأسس الموجودة حالياً.