التعرف على الإجراءات القائمة على الهيكل العظمي باستخدام شبكات الت convolution الجرافية المتكيفة متعددة التدفقات

الشبكات التلافيفية الرسومية (GCNs)، التي تمثل تعميمًا للشبكات التلافيفية التقليدية (CNNs) على الهياكل غير الإقليدية العامة، حققت أداءً ملحوظًا في التعرف على الحركات القائمة على الهيكل العظمي. ومع ذلك، لا تزال هناك عدة قضايا قائمة في النماذج السابقة القائمة على GCNs. أولاً، يتم تحديد هيكل الرسم البياني بشكل تجريبي وثابت عبر جميع طبقات النموذج وبيانات الإدخال، وهو ما قد لا يكون مناسبًا للهيكل الهرمي للنموذج GCN، أو لتنوع البيانات في مهام التعرف على الحركات. ثانيًا، يُهمل بشكل شبه كامل المعلومات من الدرجة الثانية في بيانات الهيكل العظمي، أي طول العظام واتجاهها، رغم أن هذه المعلومات طبيعية أكثر في التمييز وتوفر معلومات أكثر دقة للتعريف بالحركات البشرية. في هذا العمل، نقترح نموذجًا جديدًا يُسمى الشبكة العصبية التلافيفية الرسومية التكيفية المُعززة بالانتباه متعددة التدفقات (MS-AAGCN) للتعريف بالحركات القائمة على الهيكل العظمي. يمكن في نموذجنا تعلم هيكل الرسم البياني إما بشكل موحد أو فردي بناءً على بيانات الإدخال بطريقة متكاملة (end-to-end)، مما يزيد من مرونة النموذج في بناء الرسوم البيانية ويعزز قدرته على التكيف مع عينات بيانات متنوعة. علاوة على ذلك، يتم تعزيز طبقة التلافيف الرسومي التكيفية المقترحة بوحدة انتباه مكاني-زمني-قناة، التي تساعد النموذج على التركيز أكثر على المفاصل والإطارات والسمات المهمة. بالإضافة إلى ذلك، يتم نمذجة معلومات المفاصل والعظام وبيانات حركتها بشكل متزامن ضمن إطار عمل متعدد التدفقات، مما أدى إلى تحسن ملحوظ في دقة التعرف. أظهرت التجارب الواسعة على مجموعتي بيانات كبيرتي الحجم، NTU-RGBD وKinetics-Skeleton، أن أداء نموذجنا يتفوق على أحدث النماذج المطورة بفارق كبير.