Skeleton-Graph: التنبؤ بحركة 3D طويلة الأمد من ملاحظات ثنائية الأبعاد باستخدام شبكة عصبية رسمية فضائية-زمنية عميقة

تتطلب العديد من التطبيقات، مثل القيادة الذاتية والواقع المعزز والواقع الافتراضي، تنبؤًا دقيقًا بوضعية الإنسان ثلاثية الأبعاد. مؤخرًا، تم تقديم مشكلة جديدة في هذا المجال تتمثل في التنبؤ بوضعيات الإنسان ثلاثية الأبعاد من خلال الوضعيات الثنائية الأبعاد المُراقبة. نقترح نموذج "Skeleton-Graph"، وهو نموذج متعمق لشبكة عصبية رياضية-زمنية (CNN) قائمة على الرسوم البيانية، يتنبأ بوضعيات الهيكل العظمي ثلاثية الأبعاد المستقبلية في عملية واحدة فقط، استنادًا إلى الوضعيات الثنائية الأبعاد. على عكس الدراسات السابقة، يركّز Skeleton-Graph على نمذجة التفاعل بين مفاصل الهيكل العظمي من خلال استغلال تكوينها المكاني. ويتم تحقيق ذلك من خلال صياغة المشكلة على شكل هيكل رسومي، مع تعلُّم نواة مجاورة مناسبة للرسم البياني. وبتصميمه، يتنبأ Skeleton-Graph بوضعيات المستقبل ثلاثية الأبعاد دون انحراف طويل الأمد، على عكس الدراسات السابقة. كما نقدّم أيضًا معيارًا جديدًا لقياس الانحراف في التنبؤات على المدى الطويل. تُظهر نتائجنا تحسينًا في معيار FDE بنسبة لا تقل عن 27%، وتحسينًا في معيار ADE بنسبة 4% على كلا مجموعة بيانات GTA-IM وPROX مقارنة بالدراسات السابقة. علاوةً على ذلك، نقلنا انحراف التنبؤ بالحركة على المدى الطويل بنسبة 88% و93% على التوالي مقارنة بالدراسات السابقة على كلا مجموعة بيانات GTA-IM وPROX. يمكن الوصول إلى الشفرة المصدرية من خلال الرابط التالي: https://github.com/abduallahmohamed/Skeleton-Graph.git