تنبؤ وتصنيف العنقود: التعرف على الأنشطة بدون إشراف باستخدام الهيكل العظمي

نقترح نظامًا جديدًا للاعتراف بالحركات بدون إشراف باستخدام الهيكل العظمي. بناءً على مدخلات تسلسل نقاط الجسم التي يتم الحصول عليها أثناء الحركات المختلفة، يقوم نظامنا بربط هذه التسلسلات بالحركات. يعتمد نظامنا على شبكة عصبية متكررة من نوع المُشفِّر والمُفكِّك (الإنكودر والديكودر)، حيث يتعلم المُشفِّر تمثيل خصائص قابل للتفريق داخل حالاته الخفية من خلال تدريب النموذج على أداء مهمة التنبؤ. نوضح أن وفقًا لهذا التدريب غير المشرف، فإن المُفكِّك والمُشفِّر ينظمان ذاتيًا حالاتهما الخفية إلى فضاء خصائص يجمع الحركات المشابهة في نفس العنقود ويضع الحركات المختلفة في عناقيد بعيدة. الطرق الحالية المتقدمة للاعتراف بالحركات تكون تحت إشراف قوي، أي تعتمد على تقديم تسميات للتدريب. قد تم اقتراح طرق غير مشرفة، ومع ذلك تتطلب هذه الطرق مدخلات كاميرا ومعلومات العمق (RGB+D) في كل خطوة زمنية. بالمقابل، يكون نظامنا تمامًا غير مشرف، لا يحتاج إلى تسميات للحركات في أي مرحلة، ويمكنه العمل بمدخلات نقاط الجسم فقط. بالإضافة إلى ذلك، يمكن للطريقة أن تعمل في أبعاد مختلفة لنقاط الجسم (2D أو 3D) وتتضمن مؤشرات إضافية تصف الحركات. نقيم نظامنا على ثلاثة مقاييس واسعة للاعتراف بالحركات تحتوي على عدد مختلف من الحركات والأمثلة. نتائجنا تتفوق على الطرق السابقة غير المشرفة القائمة على الهيكل العظمي وعلى الطرق غير المشرفة القائمة على RGB+D في اختبارات العرض المتداخلة، وفي الوقت نفسه تكون أداؤها مشابهًا لأداء الطرق المشرفة القائمة على الهيكل العظمي في اعتراف الحركات.