ترميز ميزات الرؤوس والنمذجة الهرمية الزمنية في شبكة ت.Convolutionية رياضية فضائية-زمنية للتعرف على الحركات

يُطَوِّر هذا البحث شبكة الت convolution الرسومية الفضائية-الزمنية (ST-GCN) لتمييز الأفعال القائمة على الهيكل العظمي من خلال إدخال وحدتين جديدتين، وهما: وحدة ترميز خصائص رؤوس الرسم البياني (GVFE) وشبكة الت convolution الزمنية الهرمية ذات التباعد (DH-TCN). من ناحية، تتعلم وحدة GVFE خصائص الرؤوس المناسبة لتمييز الأفعال من خلال تحويل بيانات الهيكل العظمي الخام إلى فضاء مميزات جديد. ومن ناحية أخرى، تمتلك وحدة DH-TCN القدرة على التقاط الترابطات الزمنية القصيرة والطويلة المدى باستخدام شبكة ت convolution زمنية هرمية ذات تباعد. أُجريت تجارب على مجموعتي بيانات صعبتين هما NTU RGB-D-60 وNTU RGB-D 120. أظهرت النتائج أن الطريقة المقترحة تنافس أفضل الطرق الحالية مع استخدام عدد أقل من الطبقات والمعاملات، مما يؤدي إلى تقليل وقت التدريب والذاكرة المطلوبة.