جمع التباينات للاعتراف بالتعبيرات الوجهية

تصنيف التعبيرات الوجهية إلى فئات مختلفة يتطلب التقاط تشوهات المناطق من معالم الوجه. نعتقد أن الإحصاءات من الرتبة الثانية مثل مصفوفة التباين (covariance) قادرة بشكل أفضل على التقاط هذه التشوهات في الخصائص الوجهية الإقليمية. في هذا البحث، نستكشف الفوائد التي يمكن الحصول عليها من استخدام بنية شبكة متعددة الأبعاد (manifold network) للجمع المكاني لمصفوفات التباين لتحسين تقنية تصنيف التعبيرات الوجهية. بخاصة، نقوم أولاً بتوظيف هذا النوع من الشبكات المتعددة الأبعاد بالاشتراك مع الشبكات العصبية التقليدية المتشابكة (convolutional networks) للجمع المكاني داخل خرائط الخصائص الفردية للصور بطريقة تعلم عميقة شاملة (end-to-end deep learning). بهذه الطريقة، تمكنا من تحقيق دقة تصنيف بلغت 58.14٪ على مجموعة التحقق من صحة بيانات Static Facial Expressions in the Wild (SFEW 2.0) و87.0٪ على مجموعة التحقق من صحة بيانات Real-World Affective Faces (RAF) Database. كلتا هاتين النتيجتين تعتبران أفضل النتائج التي نعرفها. بالإضافة إلى ذلك، نستفيد من تقنية الجمع لمصفوفات التباين لتقاط الصور الفورية المتغيرة زمنيًا في تقنية تصنيف التعبيرات الوجهية القائمة على الفيديو. النتائج التي قدمناها تظهر ميزة الجمع الزمني لخصائص مجموعة الصور عن طريق وضع الشبكة المتعددة الأبعاد المصممة للجمع لمصفوفات التباين فوق طبقات الشبكات العصبية المتشابكة.