PSUMNet: تدفقات الأجزاء الموحدة للوسائط هي كل ما تحتاجه للتعرف الفعّال على الإجراءات القائمة على الوضعية

يتم معالجة التعرف على الحركات القائمة على الوضع بشكل أساسي من خلال النماذج التي تتعامل مع الهيكل العظمي المدخل بطريقة متكاملة، أي أن المفاصل في شجرة الوضع تُعالج كوحدة واحدة. ومع ذلك، تتجاهل هذه النماذج حقيقة أن فئات الحركات غالبًا ما تتميز بديناميكيات حركية محلية تشمل فقط مجموعات جزئية صغيرة من المفاصل، مثل اليدين (مثل "رفع الإبهام") أو الساقين (مثل "الركل"). وعلى الرغم من وجود نماذج تعتمد على تقسيم الأجزاء، فإن كل مجموعة جزئية لا تُنظر إليها ضمن الإطار العام للوضع، مما يؤدي إلى ضعف هذه الأساليب. علاوة على ذلك، تستخدم النماذج التقليدية تدفقات وحدات مستقلة (مثل المفاصل، العظام، سرعة المفاصل، سرعة العظام)، وتُدرّب الشبكة عدة مرات على هذه التدفقات، ما يزيد بشكل كبير من عدد المعلمات التدريبية. لمعالجة هذه المشكلات، نقدم PSUMNet، نموذجًا جديدًا للتعرف على الحركات القائمة على الوضع، يتميز بالقابلية للتوسع والكفاءة. على مستوى التمثيل، نقترح نهجًا يعتمد على تدفق أجزاء مبني على الإطار العالمي، بدلًا من التدفقات التقليدية القائمة على الوحدات. داخل كل تدفق جزئي، يتم دمج البيانات المرتبطة بعدة وحدات وتقديمها إلى خط أنابيب المعالجة. من الناحية التجريبية، يحقق PSUMNet أداءً متقدمًا على مستوى الحالة في مجموعة بيانات NTURGB+D 60/120 الشهيرة، وكذلك في مجموعة بيانات الهيكل العظمي بكثافة عالية NTU 60-X/120-X. يُعد PSUMNet فعالًا للغاية، ويتفوق على الطرق المنافسة التي تستخدم من 100% إلى 400% من المعلمات الإضافية. كما يُظهر PSUMNet قدرة على التعميم على مجموعة بيانات SHREC لحركات اليدين بأداء تنافسي. بشكل عام، تجعل المرونة، والأداء، والكفاءة التي يتمتع بها PSUMNet هذا النموذج خيارًا جذابًا للتعرف على الحركات، وكذلك لتطبيقه على الأجهزة المضمنة والحدود المحدودة الموارد. يمكن الوصول إلى الكود والنماذج المُدرّبة مسبقًا من خلال: https://github.com/skelemoa/psumnet