شبكات التجميع الرسومية المتكيفة ذات التيارين لتمييز الأنشطة المستندة إلى الهيكل العظمي

في مجال التعرف على الحركات القائمة على الهيكل العظمي، حققت شبكات التجميع الرسومية (GCNs)، التي تُمثِّل الهياكل العظمية للجسم البشري كرسومات زمانية-مكانية، أداءً ملحوظًا. ومع ذلك، في الطرق الحالية المستندة إلى GCN، يتم تحديد طوبولوجيا الرسمة يدويًا وهي ثابتة عبر جميع الطبقات والعينات الإدخال. وهذا قد لا يكون الأمثل لشبكات GCN التدرجية وأنواع العينات المتنوعة في مهام التعرف على الحركات. بالإضافة إلى ذلك، فإن المعلومات من الدرجة الثانية (أطوال واتجاهات العظام) للبيانات الهيكلية، والتي تكون بشكل طبيعي أكثر إفادة وتفرقة للتعرف على الحركات، نادراً ما يتم دراستها في الطرق الحالية. في هذا العمل، نقترح شبكة تجميع رسومية متكيفة ذات تيارين جديدة (2s-AGCN) للتعرف على الحركات القائمة على الهيكل العظمي. يمكن أن يتم تعلم طوبولوجيا الرسمة في نموذجنا إما بشكل موحد أو فردي بواسطة خوارزمية BP بطريقة شاملة من النهاية إلى النهاية. هذه الطريقة القائمة على البيانات تعزز مرونة النموذج في بناء الرسمة وتجعله أكثر عمومية للتكيف مع أنواع مختلفة من عينات البيانات. علاوة على ذلك، تم اقتراح إطار عمل ذو تيارين لتمثيل المعلومات من الدرجة الأولى والدرجة الثانية معًا، مما يظهر تحسينًا ملحوظًا في دقة التعرف. أثبتت التجارب الواسعة التي أجريت على قاعدتي البيانات الكبيرتين NTU-RGBD و Kinetics-Skeleton أن أداء نموذجنا يتفوق بفارق كبير على أفضل الأداء الحالي (state-of-the-art).