دمج التحليل البشري وشبكة الوضع لتقدير أفعال الإنسان

تُعد هياكل البشر وسلاسل RGB من الوسائط المدخلة الشائعة على نطاق واسع في التعرف على الحركات البشرية. ومع ذلك، فإن الهياكل العظمية تفتقر إلى ميزات المظهر، في حين أن بيانات الألوان تعاني من كم كبير من التفاصيل غير الضرورية. ولحل هذه المشكلة، نقدّم خريطة ميزات التحليل البشري كوسيلة جديدة، حيث يمكنها الاحتفاظ باختياري بالميزات الزمانية-المكانية لأجزاء الجسم، مع تصفية الضوضاء الناتجة عن الملابس، والخلفيات، وغيرها. نقترح شبكة IPP-Net (الشبكة المتكاملة للتحليل البشري والوضعية) للتعرف على الحركات، وهي أول شبكة تستخدم بطريقة فرعية مزدوجة كلًا من الهياكل العظمية وخرائط ميزات التحليل البشري. يُقدّم الفرع الخاص بالوضعية البشرية تمثيلات عظمية مكثفة من مختلف الوسائط إلى شبكة الت convolution العظمية لتمثيل ميزات الوضعية. أما في الفرع الخاص بالتحليل البشري، فيتم استخراج ميزات تحليل أجزاء الجسم من عدة إطارات باستخدام كاشف بشري وبرنامج تحليل، ثم يُدرّس هذا التمثيل باستخدام هيكل خلفي قائم على الت convolution. وتُطبَّق عملية تجميع متأخرة بين الفرعين للحصول على التنبؤات النهائية، مع مراعاة كلاً من النقاط المميزة الموثوقة وخصائص أجزاء الجسم الغنية بالمعنى. وقد أثبتت التجارب الواسعة على معايير NTU RGB+D وNTU RGB+D 120 فعالية الشبكة المقترحة IPP-Net بشكل متسق، حيث تتفوّق على الطرق الحالية للتعرف على الحركات. يُمكن الوصول إلى الكود الخاص بنا بشكل عام عبر الرابط: https://github.com/liujf69/IPP-Net-Parsing.