التعرف على النشاط البشري: رمزية صورة فضائية زمنية لبيانات الهيكل الثلاثي الأبعاد للكشف عن الإجراءات عبر الإنترنت

تمثّل عملية تمييز النشاط البشري (HAR) المستندة إلى بيانات الهيكل العظمي التي يمكن استخلاصها من مقاطع الفيديو (مثل جهاز Kinect) أو توفيرها بواسطة كاميرا عمق مشكلة تصنيف السلاسل الزمنية، حيث يُعدّ التعامل مع الاعتماديات المكانية والزمنية أمرًا بالغ الأهمية لتحقيق تمييز فعّال. وفي حالة تمييز النشاط البشري في الوقت الفعلي، يُعدّ تحديد بداية ونهاية النشاط عنصرًا مهمًا، وقد يُعدّ هذا التحدي صعبًا في حالة تدفق البيانات المستمر. في هذا العمل، نقدّم طريقة ترميز لبيانات الهيكل العظمي الثلاثية الأبعاد لتوليد صورة تحفظ الاعتماديات المكانية والزمنية الموجودة بين المفاصل العظمية. ولتمكين كشف الأفعال في الوقت الفعلي، ندمج هذه طريقة الترميز مع نافذة منزلقة على تدفق البيانات المستمر. وبهذا، لا يُحتاج إلى توقيت بدء أو توقف، ويمكن إجراء التمييز في أي لحظة. ونستخدم خوارزمية تعلم عميق من نوع الشبكة العصبية التلافيفية (CNN) لتحقيق كشف الأفعال في الوقت الفعلي.