تعلم تمثيلات الشكل-الحركة من نموذج زمني-مكانى مبني على الجبر الهندسي للتعرف على الإجراءات القائمة على الهيكل العظمي

تم تطبيق التعرف على الحركات القائمة على الهيكل العظمي على نطاق واسع في المراقبة الذكية بالفيديو وتحليل سلوك الإنسان. وقد تم استخدام الشبكات العصبية التلافيفية (CNN) بنجاح في الدراسات السابقة لاستخلاص الخصائص الفضائية-الزمنية لسلسلة الهيكل العظمي. ومع ذلك، فإن هذه الطرق تركز فقط على إحداثيات المفاصل المنفصلة، مما يتجاهل العلاقات الفضائية بين المفاصل ويتعلم تمثيلات الحركة بشكل ضمني فقط. ولحل هذه المشكلات، نقترح طريقة فعالة لاستخلاص تمثيلات شاملة من سلاسل الهيكل العظمي باستخدام الجبر الهندسي. أولاً، يتم بناء نموذج فضائي-زمني مبني على الاتجاه الأمامي لتمثيل التكوين الفضائي والديناميكية الزمنية لسلسلة الهيكل العظمي، بحيث يتمتع بمقاومة عالية تجاه التغيرات في الزاوية المرئية. ثم يتم تعلم تمثيلات الشكل-الحركة التي تكمل بعضها البعض، بهدف وصف الحركات العظمية بشكل شامل. وأخيرًا، يتم تطبيق نموذج CNN متعدد التدفقات لاستخراج ودمج الميزات العميقة من التمثيلات المتكاملة للشكل والحركة. وتوحي النتائج التجريبية على مجموعتي بيانات NTU RGB+D وNorthwestern-UCLA بتفوّق طريقتنا بشكل متسق.