شبكة عصبية متكررة هرمية للتعرف على الحركات القائمة على الهيكل العظمي

يمكن تمثيل الأفعال البشرية من خلال مسارات مفاصل الهيكل العظمي. غالبًا ما تُستخدم الطرق التقليدية لتمثيل البنية المكانية والديناميكية الزمنية للهيكل العظمي البشري من خلال ميزات مصممة يدويًا، وتصنيف الأفعال البشرية باستخدام تصنيفات مصممة بعناية. في هذا البحث، ونظرًا لأن الشبكات العصبية التكرارية (RNN) قادرة على تمثيل المعلومات السياقية الطويلة الأمد للquences الزمنية بشكل جيد، نقترح شبكة RNN هيراركية نهائية (end-to-end) لتمييز الأفعال القائمة على الهيكل العظمي. بدلًا من استخدام الهيكل العظمي ككل كمدخل، نقسّم الهيكل العظمي البشري إلى خمسة أجزاء وفقًا للتركيب الجسدي للإنسان، ثم نُدخل كل جزء بشكل منفصل إلى خمسة شبكات فرعية. مع زيادة عدد الطبقات، يتم دمج التمثيلات المستخلصة من الشبكات الفرعية بشكل هيراركي لتكون مدخلات الطبقات الأعلى. وتُدخل التمثيلات النهائية لسلسلة الهيكل العظمي إلى شبكة عصبية أحادية الطبقة، حيث يُستخدم المجموع الزمني للإخراج كقرار نهائي. قارنا نموذجنا مع خمسة معماريات عميقة أخرى مستمدة من نموذجنا للتحقق من فعالية الشبكة المقترحة، كما قارناه مع عدة طرق أخرى على ثلاث مجموعات بيانات متاحة علنًا. وأظهرت النتائج التجريبية أن نموذجنا يحقق أداءً من الدرجة الأولى (state-of-the-art) مع كفاءة حسابية عالية.