التعلم العميق للتعرف على إشارات اليد باستخدام البيانات الهيكلية

في هذه الورقة، نقدّم نهجًا جديدًا لتمييز إشارات اليد ثلاثية الأبعاد يستند إلى نموذج تعليم عميق. نُقدّم شبكة عصبية متعددة الطبقات (CNN) جديدة، حيث يتم معالجة تسلسلات مواقع عُقد الهيكل العظمي لليد عبر عمليات تقويس متوازية؛ ثم نستعرض أداء هذا النموذج في مهام تصنيف تسلسلات إشارات اليد. يعتمد نموذجنا فقط على بيانات الهيكل العظمي لليد، دون استخدام أي صور عمق. تُظهر النتائج التجريبية أن نهجنا يحقق أداءً من الدرجة الأولى على مجموعة بيانات صعبة (مجموعة بيانات DHG من مسابقة SHREC 2017 لاسترجاع الأشكال ثلاثية الأبعاد)، مقارنةً بالنهج المنشورة الأخرى. ويحقق نموذجنا دقة تصنيف بلغت 91.28% في حالة فئة الإشارات الـ14، و84.35% في حالة فئة الإشارات الـ28.