تصنيف المشاعر والمشاركة في التعلم عبر الإنترنت بناءً على شبكة عصبية واحدة لتحديد التعبيرات الوجهية

في هذه الورقة، تم تحليل سلوك الطلاب في بيئة التعلم الإلكتروني. وتم اقتراح نموذج جديد مبني على معالجة الوجه من مقاطع الفيديو. أولاً، تُطبَّق تقنيات اكتشاف الوجه وتتبعه والتحليل التجميعي لاستخراج تسلسلات الوجوه الخاصة بكل طالب. ثم، يُستخدم شبكة عصبية فعالة واحدة لاستخراج الميزات العاطفية في كل إطار. وقد تم تدريب هذه الشبكة مسبقًا على مهمة تحديد الوجوه، ثم تحسينها دقيقًا (fine-tuned) لتمييز التعبيرات الوجهية باستخدام صور ثابتة من مجموعة بيانات AffectNet، وذلك باستخدام تقنية تحسين متطورة وقوية تم تطويرها خصيصًا. وقد أُظهر أن الميزات الوجهية الناتجة يمكن استخدامها للتنبؤ السريع والمتزامن بمستويات اشتراك الطلاب (من غير مهتم إلى مهتم جدًا)، والمشاعر الفردية (مثل السعادة، الحزن، إلخ)، والمشاعر الجماعية (إيجابية، محايدة، أو سلبية). ويمكن استخدام هذا النموذج في معالجة الفيديو في الزمن الحقيقي، حتى على الأجهزة المحمولة الخاصة بكل طالب، دون الحاجة إلى إرسال مقاطع الفيديو الوجهية إلى خادم مركزي أو جهاز الحاسوب الخاص بالمعلم. بالإضافة إلى ذلك، تم عرض إمكانية إعداد ملخص لمحاضرة من خلال حفظ لقطات قصيرة تمثل تنوّع المشاعر ومستويات الاهتمام لدى جميع الطلاب. وأظهرت الدراسة التجريبية على مجموعات بيانات من مسابقة EmotiW (تمييز المشاعر في البيئة الطبيعية) أن الشبكة المقترحة تتفوق بشكل كبير على النماذج الواحدة الحالية.