الـ GCN الديناميكية: تعلّم هيكلية مُثرَّاة بالسياق للتمييز عن الحركات القائمة على الهيكل العظمي

حصلت الشبكات التلافيفية الرسومية (GCNs) على اهتمام متزايد في مهمة التعرف على الحركات القائمة على الهيكل العظمي. تكمن الحُلُم في تصميم هيكل الرسم البياني، الذي يُشْرِك معلومات هندسة الهيكل العظمي. في هذا البحث، نقترح شبكة GCN ديناميكية (Dynamic GCN)، حيث تم تقديم شبكة عصبية تلافيفية جديدة تُسمى "شبكة ترميز السياق" (Context-encoding Network - CeN) لتعلم هندسة الهيكل العظمي تلقائيًا. وبشكل خاص، عند تعلم الاعتماد بين مفصلين، يتم دمج الميزات السياقية من المفاصل المتبقية بطريقة عالمية. تُعدّ CeN خفيفة جدًا ولكنها فعالة للغاية، ويمكن دمجها بسهولة داخل طبقة تلافيفية رسومية. من خلال تجميع عدة طبقات تلافيفية رسومية مدعومة بـ CeN، نُنشئ شبكة Dynamic GCN. ومن المميزات التي تتمتع بها CeN أنّها تُنشئ هندسة رسومية ديناميكية لكل عينة إدخال، وكذلك لكل طبقات تلافيفية رسومية ذات عمق مختلف. علاوة على ذلك، تم استكشاف ثلاث هياكل بديلة لنمذجة السياق بشكل معمق، والتي قد تُشكّل دليلًا لبحوث مستقبلية حول تعلّم هندسة الرسوم البيانية. تضيف CeN فقط حوالي 7% من العمليات الحسابية الإضافية (FLOPs) مقارنة بالنموذج الأساسي، بينما تحقق Dynamic GCN أداءً أفضل بـ 2 إلى 4 أضعاف أقل من العمليات الحسابية مقارنة بالطرق الحالية. وباستخدام دمج إضافي بين الروابط الجسدية الثابتة وسياقات الحركة، نحقّق أفضل أداء ممكن على ثلاث مجموعات بيانات كبيرة، هي: NTU-RGB+D و NTU-RGB+D 120 و Skeleton-Kinetics.