الشبكات العصبية الرسومية التaceousية المستمرة الزمنية والمكانية

أصبح الاستدلال القائم على الرسوم البيانية فوق بيانات الهيكل العظمي منهجًا واعدًا للتعرف على الحركات البشرية. ومع ذلك، فإن تطبيق الطرق القائمة على الرسوم البيانية السابقة، التي تعتمد بشكل رئيسي على التسلسلات الزمنية الكاملة كمدخلات، في سياق الاستنتاج الزمني المتواصل (online inference)، يُعد مصحوبًا بتكاليف حسابية كبيرة جدًا. في هذه الورقة، نعالج هذه المشكلة من خلال إعادة صياغة شبكة التحويل العصبي الرسومي الزماني-المكاني (Spatio-Temporal Graph Convolutional Neural Network) كشبكة استنتاج مستمر (Continual Inference Network)، التي تُمكّن من إجراء تنبؤات خطوة بخطوة عبر الزمن دون الحاجة إلى معالجة الإطارات المتكررة. ولتقييم طريقة العمل، قمنا بإنشاء نسخة مستمرة من ST-GCN تُعرف باسم CoST-GCN، بالإضافة إلى طريقتين مشتقتين تستخدمان آليات انتباه ذاتي مختلفة، وهما CoAGCN وCoS-TR. وقمنا بدراسة استراتيجيات نقل الأوزان والتعديلات المعمارية لتحقيق تسريع في الاستنتاج، وتم إجراء تجارب على مجموعات بيانات NTU RGB+D 60 وNTU RGB+D 120 وKinetics Skeleton 400. ورغم الحفاظ على دقة تنبؤية مشابهة، لاحظنا تقليلًا يصل إلى 109 مرة في التعقيد الزمني، وزيادة في التسارع على المعدات بنسبة 26 مرة، وتقليلًا بنسبة 52% في أقصى كمية ذاكرة تم تخصيصها أثناء الاستنتاج الزمني المستمر.