شبكة مُعززة بسمات الحركة لتحديد الإيماءات اليدوية الديناميكية من بيانات العظام

تم جذب انتباه متزايد إلى التعرف على إشارات اليد الديناميكية نظرًا لأهميتها في التفاعل بين الإنسان والكمبيوتر. في هذه الورقة، نقترح شبكة جديدة تُدعى MFA-Net (الشبكة المُعززة بسمات الحركة) للتعرف على إشارات اليد الديناميكية من بيانات الهيكل العظمي. تعتمد MFA-Net على استغلال سمات الحركة الخاصة بالأصابع والحركة الشاملة لتعزيز سمات الشبكة العميقة لتحسين التعرف على الإشارات. لوصف الحركات المفصلية للأصابع، يتم استخلاص سمات حركة الأصابع من تسلسل الهيكل العظمي لليد باستخدام مُشفّر تلقائي متغير (Variational Autoencoder). كما تُستخدم سمات الحركة الشاملة لتمثيل الحركات الشاملة للهيكل العظمي لليد. ثم تُدخل هذه السمات الحركية إلى جانب تسلسل الهيكل العظمي في ثلاث فروع من شبكة الأعصاب التكرارية (RNN)، حيث تُعزز سمات الحركة داخل RNN وتحسّن أداء التصنيف. تم تقييم MFA-Net المقترحة على مجموعتين صعبتين من البيانات القائمة على الهيكل العظمي لإشارات اليد الديناميكية، وهما مجموعة بيانات DHG-14/28 ومجموعة بيانات SHREC’17. أظهرت النتائج التجريبية أن الطريقة المقترحة تحقق أداءً مماثلاً لمجموعة بيانات DHG-14/28، وأداءً أفضل مقارنة بالطرق الرائدة في مجالها على مجموعة بيانات SHREC’17.