حول فائدة أوضاع اليد ثلاثية الأبعاد في التعرف على الحركات

الوضع ثلاثي الأبعاد لليد هو وسيلة غير مستكشفة بشكل كافٍ في مجال التعرف على الحركات. الوضعيات مكثفة ومعبرة ويمكن أن تفيد بشكل كبير التطبيقات ذات الميزانيات الحسابية المحدودة. ومع ذلك، فإن الوضعيات بمفردها تقدم فهماً غير كامل للحركات، حيث لا يمكنها التقاط الكائنات والبيئات التي يتفاعل معها الإنسان بشكل كامل. نقترح HandFormer، وهو محول متعدد الوسائط جديد لنمذجة التفاعلات بين اليدين والكائنات بكفاءة. يقوم HandFormer بدمج وضعيات اليدين ثلاثية الأبعاد بدقة زمنية عالية لنمذجة الحركة بدقة دقيقة مع إطارات RGB مأخوذة بنسب ندرة لترميز معاني المشهد. من خلال ملاحظة الخصائص الفريدة لوضعيات اليدين، قمنا بتقسيم النمذجة الزمنية لليد وتمثيل كل مفصل بواسطة مساراته قصيرة المدى. هذا التمثيل المنقسم للوضعيات بالاشتراك مع عينات RGB النادرة يتميز بكفاءته العالية ودقته العالية. يتفوق HandFormer أحادي الوسيلة الذي يستخدم فقط وضعيات اليدين على الأساليب القائمة على الهيكل العظمي بخمس مرات أقل من العمليات العائمة (FLOPs). عند استخدامه مع الإطارات RGB، نحقق أداءً جديدًا رائدًا في Assembly101 و H2O مع تحسينات كبيرة في التعرف على الحركات الذاتية المركز (egocentric action recognition).