أين تتجه، التعرف على الحركات الهيكلية؟

في هذه الورقة، ندرس الحدود المتقدمة الحالية والقادمة في مجال التعرف على الحركات البشرية القائمة على الهيكل العظمي. ولدراسة التعرف على الحركات بناءً على الهيكل العظمي في البيئات الطبيعية (في البرية)، نقدم "Skeletics-152"، وهو مجموعة بيانات مختارة ومُعلَّمة بوضعية ثلاثية الأبعاد، مُستمدة من مقاطع فيديو RGB مأخوذة من مجموعة بيانات الحركات الكبيرة الحجم "Kinetics-700". ونُوسِّع دراستنا لتشمل الحركات التي تُنفَّذ خارج السياق من خلال تقديم مجموعة بيانات "Skeleton-Mimetics"، التي تُستمد من مجموعة بيانات "Mimetics" الحديثة الإطلاق. كما نقدِّم مجموعة بيانات جديدة تُسمى "Metaphorics"، والتي تتضمن مقاطع فيديو من يوتيوب مُعلَّمة بأسلوب وصف صوتي، تُظهر لعبًا شعبيًا اجتماعيًا يُعرف باسم "Dumb Charades" والأداءات الرقصية التفسيرية. نُجري تقييمًا لنموذجات الحالة الحالية على مجموعة بيانات NTU-120، ونقدِّم تقييمًا متعدد الطبقات لنتائجها. تُظهر النتائج التي تم الحصول عليها من تقييم أفضل النماذج على مجموعة بيانات NTU-120 في المجموعات الجديدة المقدمة التحديات والفراغات الناتجة عن تنفيذ الحركات في البيئات الطبيعية. بشكل عام، تُوصِف أعمالنا القُدرات والقيود الحالية للنهج والبيانات المستخدمة. وباستخدام المجموعات المقدمة، تُمكِّن هذه الدراسة من فتح حدود جديدة في مجال التعرف على حركات الإنسان.