شبكات الانتباه الإطارية لتمييز تعبيرات الوجه في الفيديوهات

التمييز بين التعبيرات الوجهية القائمة على الفيديو يهدف إلى تصنيف مقطع فيديو معين إلى عدة عواطف أساسية. كيفية دمج خصائص الوجه في الإطارات الفردية هو أمر حاسم لهذه المهمة. في هذا البحث، نقترح شبكات الانتباه للإطارات (FAN)، لتسليط الضوء تلقائيًا على بعض الإطارات المميزة ضمن إطار شامل. الشبكة تأخذ مقطع فيديو يتضمن عددًا متغيرًا من صور الوجه كمدخلاتها وتنتج تمثيلًا ثابت البعد. تتكون الشبكة بأكملها من وحدتين. وحدة التضمين الخصائص هي شبكة عصبية تقنية ذات طبقات متعددة (CNN) تقوم بتضمين صور الوجه في متجهات خصائص. وحدة انتباه الإطار تتعلم أوزان انتباه متعددة يتم استخدامها لدمج متجهات الخصائص بشكل تكيفي لتشكيل تمثيل فيديو مميز واحد. أجرينا تجارب واسعة النطاق على قاعدتي البيانات CK+ و AFEW8.0. أظهرت شبكات الانتباه للإطارات المقترحة (FAN) أداءً أفضل مقارنة بالطرق الأخرى القائمة على CNN وأحرزت أفضل الأداء على قاعدة بيانات CK+.