التعرف على الإجراءات من خرائط العمق باستخدام الشبكات العصبية التلافيفية العميقة
يُقدّم هذا البحث طريقة جديدة، تُعرف بـ "خرائط الحركة العميقة الهرمية الموزونة (WHDMM)" مدعومة بشبكات عميقة متعددة القنوات (3ConvNets)، لتمييز الحركات البشرية من خرائط العمق باستخدام مجموعات تدريب صغيرة. تم تطوير ثلاث استراتيجيات لاستغلال القدرة المتميزة لشبكات ConvNets في استخلاص السمات التمييزية لغرض التمييز. أولاً، تم تقليد وجهات نظر مختلفة من خلال دوران النقاط ثلاثية الأبعاد في خرائط العمق المُسجّلة، مما يُنتج بيانات إضافية ويُكسب الشبكات المدربة مرونة في مواجهة التغيرات في الزاوية المرئية. ثانيًا، تم بناء خرائط WHDMM على عدة مقاييس زمنية لترميز أنماط الحركة المكانية-الزمنية للحركات ضمن هيكل مكاني ثنائي الأبعاد، حيث تم تعزيز هذه الهياكل الثنائية الأبعاد لتحسين التمييز من خلال تحويل خرائط WHDMM إلى صور مزيفة بالألوان. ثالثًا، تم تهيئة الشبكات الثلاثة باستخدام نماذج تم اكتسابها من مجموعة بيانات ImageNet، ثم تدريبها بدقة (fine-tuning) بشكل مستقل على خرائط WHDMM المُرقمة بالألوان التي تم بناؤها في ثلاث مستويات متعامدة. تم تقييم الخوارزمية المقترحة على مجموعات بيانات MSRAction3D، MSRAction3DExt، UTKinect-Action، وMSRDailyActivity3D باستخدام بروتوكولات التقييم عبر الأفراد. بالإضافة إلى ذلك، تم تقييم الأسلوب على مجموعة بيانات كبيرة تم بناؤها من مجموعات البيانات المذكورة أعلاه. أظهر الأسلوب المقترح تحسنًا بنسبة 2-9% مقارنة بالطرق الحالية على معظم المجموعات الفردية. علاوة على ذلك، حافظ الأسلوب على أداؤه المتميز على المجموعة الكبيرة، في حين تراجع أداء الطرق الحالية مع زيادة عدد الحركات.