التحليل العميق للخصائص متعددة الوسائط للاعتراف بالحركات في مقاطع الفيديو RGB+D

تم استكشاف التعرف على الإجراءات باستخدام وسيلة واحدة من الوسائل (الصور الملونة RGB أو تسلسلات العمق) بشكل مكثف مؤخرًا. يُعتبر من المسلم به عمومًا أن كل من هاتين الوسيلتين لهما قوى وقيود مختلفة فيما يتعلق بمهمة التعرف على الإجراءات. لذلك، يمكن أن يساعد تحليل مقاطع الفيديو الملونة + عمق (RGB+D) في دراسة أفضل للخصائص المكملة لهذه الوسيلتين وأنواعهما وتحقيق مستويات أعلى من الأداء. في هذا البحث، نقترح شبكة جديدة تعتمد على التشفير العميق لتحليل الخصائص المشتركة والخاصة لفصل الإشارات متعددة الوسائل إلى مجموعة من المكونات. بالإضافة إلى ذلك، بناءً على هيكل الخصائص، تم اقتراح آلة تعلم ندرة مهيكلة تستفيد من المعايير المختلطة لتطبيق التنظيم داخل المكونات واختيار الجماعات بينها لتحقيق أداء تصنيف أفضل. تظهر نتائج تجاربنا فعالية إطار عمل تحليل الخصائص عبر الوسيلة لدينا من خلال تحقيق دقة رائدة في مجال الصناعة للتعرف على الإجراءات على خمسة مجموعات بيانات معيارية صعبة.