تعلم ميزات التواجد المشترك من بيانات الهيكل للتمييز بين الحركات واكتشافها باستخدام التجميع الهرمي

التعرف على حركات الإنسان باستخدام الهيكل العظمي قد جذب مؤخرًا اهتمامًا متزايدًا بفضل توفر مجموعات بيانات هيكلية كبيرة الحجم. أهم العوامل في هذا المهمة تكمن في جوانبين رئيسيين: التمثيل داخل الإطار للحوادث المشتركة للمفاصل والتمثيل بين الإطارات لتطور الهياكل العظمية عبر الزمن. في هذه الورقة البحثية، نقترح إطار عمل تعلم خصائص الحوادث المشتركة بالكامل باستخدام الشبكات العصبية التلافيفية. يتم تعلم خصائص الحوادث المشتركة باستخدام منهجية هرمية، حيث يتم تجميع المعلومات السياقية على مستويات مختلفة تدريجيًا. أولاً، يتم تشفير المعلومات على مستوى النقطة لكل مفصل بشكل مستقل. ثم يتم دمجها في تمثيل معنوي في المجالات المكانية والزمانية. وبشكل خاص، نقدم مخطط تجميع فضائي عالمي يمكنه تعلم خصائص حوادث مشتركة أفضل للمفاصل مقارنة بالتجميع المحلي. بالإضافة إلى ذلك، يتم دمج إحداثيات الهيكل العظمي الخام وفروقاتها الزمنية باستخدام نموذج ذو مسارين (Two-Stream Paradigm). أظهرت التجارب أن نهجنا يتفوق باستمرار على الأساليب الأخرى الأكثر حداثة في مقاييس التعرف على الحركات وكشفها مثل NTU RGB+D، SBU Kinect Interaction و PKU-MMD.