الاندماج متعدد الوسائط عبر شبكة المعلم-الطالب للتعرف على الإجراءات داخل الأماكن

تلعب التعرف على الإجراءات الداخلية دورًا مهمًا في المجتمع الحديث، مثل الرعاية الصحية الذكية في المستشفيات المتنقلة الكبيرة. وبفضل الانتشار الواسع لأجهزة الاستشعار العميقة مثل Kinect، أصبحت المعلومات متعددة الوسائط، بما في ذلك وسائط الهيكل العظمي (Skeleton) ووسائط الألوان الحقيقية (RGB)، تُعد طريقة واعدة لتحسين الأداء. ومع ذلك، فإن الطرق الحالية إما تركز على وسيلة بيانات واحدة، أو فشلت في الاستفادة القصوى من وسائل البيانات المتعددة. في هذا البحث، نقترح نموذجًا يُسمى تعلم المعلم والطالب المتعدد الوسائط (TSMF) يُدمج وسائط الهيكل العظمي وRGB على مستوى النموذج لتمييز الإجراءات داخل الأماكن. في نموذج TSMF الخاص بنا، نستخدم شبكة المعلم لنقل المعرفة الهيكلية من وسيلة الهيكل العظمي إلى شبكة التلميذ التي تُطبّق على وسيلة RGB. وتشير النتائج الناتجة عن تجارب واسعة على مجموعتي بيانات معياريتيّن: NTU RGB+D وPKU-MMD، إلى أن النموذج المقترح يُحقق أداءً أفضل باستمرار مقارنةً بالطرق الأحادية والمتعددة الوسائط المتطورة حاليًا. كما تُظهر النتائج أن نموذج TSMF يمكنه ليس فقط تحسين دقة شبكة التلميذ، بل أيضًا تحسين دقة التجميع بشكل ملحوظ.