إشارات الإجراء السياقية من مستشعر الكاميرا للتعرف على الإجراءات متعدد التدفقات

في أبحاث تمييز الحركات، هناك نوعان رئيسيان من المعلومات: معلومات المظهر ومعلومات الحركة، والتي تُستمد من الصور RGB عبر أجهزة الاستشعار البصرية. ومع ذلك، وفقًا لخصائص الحركة، تصبح معلومات السياق، مثل وجود كائنات محددة أو معلومات مشتركة على مستوى الصورة، معلومات حاسمة لتحديد الحركة. على سبيل المثال، يُعد وجود الكرة معلومة جوهرية تميّز بين "الركل" و"الجري". علاوةً على ذلك، تشارك بعض الحركات في وضعيات مجردة عامة نموذجية، والتي يمكن استخدامها كمفتاح لتصنيف الحركات. استنادًا إلى هذه الملاحظات، نقترح نموذج شبكة متعددة التدفقات (multi-stream network model)، الذي يدمج الإشارات المكانية والزمنية ومعلومات السياق في الصورة لتمييز الحركات. قمنا باختبار الطريقة المقترحة باستخدام C3D أو شبكة ConvNet ثلاثية الأبعاد الممتدة (I3D) كشبكة أساسية (backbone network)، وذلك على مجموعتين مختلفتين من بيانات تمييز الحركات. وكنتيجة، لاحظنا تحسنًا عامًا في الدقة، مما يُظهر فعالية الطريقة المقترحة.