SkateFormer: متحول الهيكل الزمني لتمييز أفعال الإنسان

التعرف على الأفعال باستخدام الهيكل العظمي، والذي يقوم بتصنيف الحركات البشرية بناءً على إحداثيات المفاصل وارتباطاتها داخل بيانات الهيكل العظمي، يتم استخدامه بشكل واسع في العديد من السيناريوهات. رغم اقتراح الشبكات الرسمية للرسوم البيانية (GCNs) لتمثيل بيانات الهيكل العظمي كرسوم بيانية، فإنها تعاني من مجالات استقبال محدودة مقيدة بارتباطات المفاصل. لمعالجة هذه المشكلة، قدّمت التطورات الحديثة طرقًا تعتمد على المتحولات (Transformers). ومع ذلك، فإن التقاط الارتباطات بين جميع المفاصل في جميع الإطارات يتطلب موارد ذاكرة كبيرة. لتخفيض هذا العبء، نقترح نهجًا جديدًا يُسمى SkateFormer (المتحول الهيكلي الزمني)، والذي يقوم بتقسيم المفاصل والإطارات بناءً على أنواع مختلفة من العلاقات الهيكليّة الزمنية (Skate-Type) ويقوم بالانتباه الذاتي الهيكلي الزمني (Skate-MSA) داخل كل تقسيم. نصنّف العلاقات الهيكليّة الزمنية الأساسية للتعرف على الأفعال إلى أربع أنواع مميزة. تشمل هذه الأنواع: (i) نوعين من العلاقات الهيكليّة بناءً على المفاصل المجاورة والمتباعدة جسديًا، و(ii) نوعين من العلاقات الزمنية بناءً على الإطارات المجاورة والمتباعدة. من خلال استراتيجية الانتباه الخاصة بالتقسيمات هذه، يمكن لـ SkateFormer الخاص بنا التركيز بشكل اختياري على المفاصل والإطارات الرئيسية التي تكون حاسمة للتعرف على الأفعال بطريقة متكيفة مع الفعل وبكفاءة حسابية عالية. تؤكد التجارب الواسعة التي أجريت على مختلف قواعد البيانات المرجعيّة أن SkateFormer الخاص بنا يتفوق على الأساليب الأكثر حداثة وأفضل أداءً حديثًا.