الانتباه الفضائي-الزمني Res-TCN للتعرف على الإشارات اليدوية الديناميكية القائمة على الهيكل العظمي

تمثّل اعتراف الحركات اليدوية الديناميكية مهمة حاسمة ولكنها صعبة في رؤية الحاسوب. تكمن المفتاح في استخلاص فعّال للخصائص الفضائية والزمنية التمييزية لنموذج تطوّر الحركات المختلفة. في هذا البحث، نقترح شبكة انتباه فضائي-زمني مدعومة ببنية متبقيّة وشبكية تقوسية زمنية (STA-Res-TCN) تعمل بشكل منتهٍ (end-to-end) للاعتراف بالحركات اليدوية الديناميكية القائمة على الهيكل العظمي، حيث تتعلم الشبكة مستويات مختلفة من الانتباه وتعيّنها لكل خاصية فضائية-زمنية مستخرجة بواسطة مرشحات التوافيق في كل خطوة زمنية. يساعد فرع الانتباه المُقترح الشبكة على التركيز تلقائيًا على الإطارات الزمنية والخصائص المفيدة، مع استبعاد تلك غير ذات صلة التي تُضيف غالبًا ضوضاءً غير ضرورية. علاوةً على ذلك، يُعدّ النموذج المقترح STA-Res-TCN نموذجًا خفيفًا يمكن تدريبه واختباره في وقت قصير جدًا. أظهرت التجارب على مجموعة بيانات DHG-14/28 وشريحة SHREC’17 أن STA-Res-TCN يتفوّق على أحدث الطرق في كل من إعدادات الحركات الـ14 والإعدادات الأعقد التي تتضمّن 28 حركة.