التعرف على الإجراءات القائمة على الهيكل العظمي باستخدام الشبكات العصبية الرسومية الموجهة

تم استخدام بيانات العظام على نطاق واسع في مهام تمييز الحركات، نظرًا لقدرتها على التكيف بشكل موثوق مع الظروف الديناميكية والخلفيات المعقدة. في الطرق الحالية، تبين أن معلومات المفاصل والعظام المتوفرة في بيانات العظام تُعد مفيدة جدًا في مهام تمييز الحركات. ومع ذلك، لا يزال هناك تحدي متعلق بكيفية دمج هذين النوعين من البيانات للاستفادة الأمثل من العلاقة بين المفاصل والعظام. في هذه الدراسة، نمثل بيانات العظام على شكل رسم بياني موجه غير دوري (Directed Acyclic Graph) بناءً على الاعتماد الحركي بين المفاصل والعظام في الجسم البشري الطبيعي. كما تم تصميم شبكة عصبية رسمية موجهة جديدة خصيصًا لاستخراج معلومات المفاصل والعظام والعلاقات بينها، وإجراء التنبؤات بناءً على الميزات المستخرجة. علاوةً على ذلك، لتحسين التوافق مع مهمة تمييز الحركات، جُعلت البنية الطوبولوجية للرسم البياني قابلة للتكيف مع عملية التدريب، مما أدى إلى تحسين ملحوظ. وبالإضافة إلى ذلك، تم استغلال معلومات الحركة في تسلسل العظام ودمجها مع المعلومات المكانية ضمن إطار ثنائي التدفق (Two-Stream Framework) لتعزيز الأداء بشكل أكبر. وقد تم اختبار النموذج النهائي على مجموعتي بيانات كبيرتين، وهما NTU-RGBD وSkeleton-Kinetics، حيث تفوق على أفضل الأداء المُعلن في كلا المجموعتين.