التعرف على الأفعال القائمة على الهيكل العظمي بدون تدريب عبر تقدير المعلومات المتبادلة وتضخيمها

التعرف على الأنشطة دون تدريب (Zero-shot skeleton-based action recognition) يهدف إلى التعرف على أنشطة فئات غير مشاهدة بعد التدريب على بيانات لفئات مشاهدة. المفتاح هو بناء الارتباط بين الفضاء البصري والفضاء الدلالي من الفئات المشاهدة إلى الفئات غير المشاهدة. ركزت الدراسات السابقة بشكل أساسي على ترميز التسلسلات في متجه خاص واحد، مع إجراء الخرائط لمميزات هذا المتجه إلى نقطة مرجعية متطابقة داخل الفضاء المضمن. أدت أداء هذه الدراسات إلى التقييد بسبب: 1) تجاهل توافق التوزيع العالمي بين الفضاء البصري والفضاء الدلالي، مما يؤدي إلى صعوبة في التقاط الارتباط الحقيقي بين الفضائيين. 2) تجاهل المعلومات الزمنية، حيث يتم تجميع خصائص الإطارات الغنية بدلائل الأنشطة مباشرةً في متجه خاص واحد.نقترح طريقة جديدة للتعرف على الأنشطة دون تدريب باستخدام تقدير المعلومات المتبادلة (Mutual Information - MI) وتعظيمها. وبشكل خاص، 1) نقوم بتعظيم المعلومات المتبادلة بين الفضاء البصري والفضاء الدلالي لتحقيق توافق التوزيع. 2) نستفيد من المعلومات الزمنية لتقدير المعلومات المتبادلة من خلال تشجيع زيادة المعلومات المتبادلة مع زيادة عدد الإطارات المشاهدة.أجريت تجارب واسعة النطاق على ثلاثة قواعد بيانات كبيرة لأنشطة الهيكل العظمي أكدت فعالية طرقنا. الكود: https://github.com/YujieOuO/SMIE.