UNIK: إطار موحد للتعرف على الإجراءات القائمة على الهيكل العظمي في العالم الحقيقي

أظهر التعرف على الحركات بناءً على بيانات الهيكل العظمي اهتمامًا متزايدًا وتطورًا ملحوظًا في الآونة الأخيرة. تُعد الطرق المتطورة التي تعتمد على الشبكات التلافيفية الرسومية (GCNs) فعالة في استخراج الميزات من الهياكل العظمية البشرية، وذلك بفضل البنية الهيكلية البشرية المحددة مسبقًا. وعلى الرغم من التقدم المحرز، تواجه الطرق القائمة على GCNs صعوبات في التعميم عبر المجالات، خصوصًا عند التعامل مع هياكل هندسية بشرية مختلفة. في هذا السياق، نقدم UNIK، وهي طريقة جديدة للتعرف على الحركات تعتمد على الهيكل العظمي، والتي لا تُظهر كفاءة في تعلّم الميزات الزمانية-المكانية على تسلسلات الهيكل العظمي، بل تمتلك أيضًا قدرة على التعميم عبر مجموعات البيانات. ويتم تحقيق ذلك من خلال تعلّم مصفوفة اعتماد مثلى من التوزيع الموحّد باستخدام آلية انتباه متعددة الرؤوس. ثم، لدراسة قدرة التعميم عبر المجالات في التعرف على الحركات المبنية على الهيكل العظمي في مقاطع الفيديو الواقعية، نُعيد تقييم الطرق المتطورة الحالية بالإضافة إلى UNIK المقترحة، بالاعتماد على مجموعة بيانات جديدة تُسمى Posetics. وقد تم إنشاء هذه المجموعة من مقاطع فيديو Kinetics-400 من خلال تقدير وتحسين وتصفية وضعيات الجسم. ونقدّم تحليلًا حول مدى تحسن الأداء على مجموعات بيانات معايير أصغر بعد التدريب المسبق على Posetics في مهمة تصنيف الحركات. تُظهر النتائج التجريبية أن UNIK المقترحة، بعد التدريب المسبق على Posetics، تُظهر قدرة تعميم جيدة، وتفوق الطرق المتطورة في حالة نقلها إلى أربع مجموعات بيانات هدف لتصنيف الحركات: Toyota Smarthome، وPenn Action، وNTU-RGB+D 60، وNTU-RGB+D 120.