STAR-Net: التعرف على الأفعال باستخدام إعادة إسقاط التنشيط المكاني-الزماني

بينما تم استخدام الكاميرات ثلاثية الأبعاد والمستشعرات القصور الذاتي بشكل متكرر للاعتراف بحركات الإنسان، فإن هذه الطرق الاستشعارية غير عملية في العديد من السيناريوهات حيث تحظر القيود المالية أو البيئية استخدامها. لذلك، ازدادت مؤخرًا الاهتمامات باستخدام الكاميرات ذات الألوان الحمراء والخضراء والزرقاء (RGB) الرخيصة والمتوفرة بسهولة للقيام بالاعتراف بحركات الإنسان عبر الشبكات العصبية التلافيفية العميقة. ومع ذلك، فإن العديد من الشبكات العصبية التلافيفية العميقة المقترحة حتى الآن للاعتراف بالحركة تعتمد بشكل كبير على تعلم علامات المظهر العالمية مباشرة من بيانات الصور، مما يؤدي إلى هياكل شبكة معقدة للغاية تكون مكلفة حسابيًا وصعبة التدريب. بهدف تقليل تعقيد الشبكة وتحقيق أداء أعلى، نقدم مفهوم إعادة الإسقاط المكاني-الزماني للتنشيط (STAR). وبشكل أكثر تحديدًا، نعيد إسقاط التنشيطات المكانية-الزمانية التي تولدها طبقات تقدير وضع الجسم في الفضاء والزمان باستخدام سلسلة من التلافيف ثلاثية الأبعاد. تُظهر النتائج التجريبية على قاعدة بيانات UTD-MHAD و J-HMDB أن معمارية شاملة قائمة على الإطار المقترح STAR (والتي نطلق عليها اسم STAR-Net) فعالة في التطبيقات ذات البيئة الواحدة وفي نطاق صغير. وعلى قاعدة بيانات UTD-MHAD، يتفوق STAR-Net على عدة طرق تستخدم بيانات غنية مثل البيانات ثلاثية الأبعاد والمستشعرات القصور الذاتي.