تصنيف النشاط البشري المستقل من بيانات الكاميرا الذاتية الرؤية ومقياس التسارع

تم إجراء العديد من الدراسات حول تصنيف الأنشطة البشرية اعتمادًا إما على بيانات وحدة قياس الحركة القصور الذاتي (IMU) أو بيانات الكاميرات الثابتة التي توفر وجهة نظر ثالثة. استخدام بيانات IMU فقط يحد من تنوع وتعقيد الأنشطة التي يمكن كشفها. على سبيل المثال، يمكن اكتشاف نشاط الجلوس بواسطة بيانات IMU، ولكن لا يمكن تحديد ما إذا كان الموضوع قد جلس على كرسي أم أريكة، أو مكان وجوده. لإجراء تصنيف دقيق للأنشطة من مقاطع الفيديو الذاتية المركزية، وللتمييز بين الأنشطة التي لا يمكن تمييزها باستخدام بيانات IMU فقط، نقدم طريقة ذاتية وقوية تستخدم بيانات كل من الكاميرات الذاتية المركزية ووحدات IMU. بخلاف النهج المستندة إلى الشبكات العصبية التلافيفية، نقترح استخدام شبكات الكبسولات للحصول على ميزات من بيانات الفيديو الذاتي المركز. بالإضافة إلى ذلك، يتم استخدام إطار العمل ذا الذاكرة طويلة المدى والقصيرة المدى التلافيفي (Convolutional Long Short Term Memory) على كل من مقاطع الفيديو الذاتية المركزية وبيانات IMU لالتقاط الجوانب الزمنية للأفعال. كما نقترح استخدام نهج مستند إلى الخوارزميات الجينية لضبط مختلف معلمات الشبكة بشكل ذاتي ومنهجي، بدلاً من الإعداد اليدوي. تم إجراء تجارب لأداء تصنيف الأنشطة بـ 9 و26 فئة، وقد أظهرت الطريقة المقترحة، باستخدام معلمات شبكة تم ضبطها بشكل ذاتي، نتائجًا مشجعة للغاية، حيث حققت دقة إجمالية بلغت 86.6٪ و77.2٪ على التوالي. كما أن النهج المقترح الذي يجمع بين الوسيلتين يوفر دقة أعلى مقارنة باستخدام بيانات الفيديو الذاتي المركز فقط وبيانات IMU فقط.