DG-STGCN: نمذجة فضائية-زمنية ديناميكية للتعريف بالإجراءات القائمة على الهيكل العظمي

تم استخدام شبكات الت convolution الرسومية (GCN) على نطاق واسع في التعرف على الإجراءات القائمة على الهيكل العظمي. نلاحظ أن النهج القائمة على GCN الحالية تعتمد بشكل رئيسي على هياكل رسومية محددة مسبقًا (أي هيكل معرّف يدويًا لروابط الهيكل العظمي)، مما يحد من مرونتها في التقاط الترابطات المعقدة بين الروابط. ولتجاوز هذه القيود، نقترح إطارًا جديدًا للتعرف على الإجراءات القائمة على الهيكل العظمي، يُسمى شبكة GCN الديناميكية المجموعة الزمنية-المكانية (DG-STGCN). يتألف هذا الإطار من وحدتين: DG-GCN وDG-TCN، تُستخدمان على التوالي للنمذجة المكانية والزمنية. وبشكل خاص، تستخدم DG-GCN مصفوفات التقارب المُتعلمة لالتقاط الهياكل الرسومية الديناميكية بدلًا من الاعتماد على هيكل مُحدد مسبقًا، في حين تقوم DG-TCN بإجراء تباديل زمنية جماعية ذات مجالات استقبال متغيرة، وتُضمين وحدة ديناميكية للدمج بين الروابط والهيكل العظمي لتمكين النمذجة الزمنية متعددة المستويات التكيفية. وعلى مجموعة واسعة من المعايير، بما في ذلك NTURGB+D وKinetics-Skeleton وBABEL وToyota SmartHome، تتفوق DG-STGCN باستمرار على أحدث الأساليب، وبمقدار ملحوظ في كثير من الأحيان.