إموجيكون: التعرف على العواطف متعددة الوسائط مع الوعي بالسياق باستخدام مبدأ فريجه

نقدم خوارزمية EmotiCon، وهي خوارزمية تعتمد على التعلم للاعتراف بالمشاعر البشرية المدركة في السياق من الفيديوهات والصور. مستوحاة من مبدأ سياق فريجه في علم النفس، تجمع نهجنا ثلاثة تفسيرات للسياق للاعتراف بالمشاعر. التفسير الأول يعتمد على استخدام عدة وسائط (مثل الوجوه والخطوات) للاعتراف بالمشاعر. بالنسبة للتفسير الثاني، نجمع السياق الدلالي من الصورة الإدخال ونستخدم شبكة عصبية اصطناعية قائمة على الذكاء الانتباهي الذاتي لترميز هذه المعلومات. أخيرًا، نستخدم الخرائط العميقة لنمذجة التفسير الثالث المرتبط بالتفاعلات الاجتماعية الديناميكية والقرب بين الوكلاء.نوضح كفاءة شبكتنا من خلال التجارب التي أجريناها على مجموعة EMOTIC، وهي مجموعة مرجعية للبيانات. نبلغ بنتيجة دقة متوسطة (Average Precision - AP) قدرها 35.48 عبر 26 فئة، مما يمثل تحسينًا بمقدار 7-8 مقارنة بالطرق السابقة. كما نقدم مجموعة بيانات جديدة تسمى GroupWalk، وهي عبارة عن مجموعة فيديوهات تم التقاطها في عدة بيئات حقيقية لمجموعة من الأشخاص الذين يسيرون. نبلغ بنتيجة دقة متوسطة (AP) قدرها 65.83 عبر 4 فئات في مجموعة GroupWalk، وهو أيضًا تحسن مقارنة بالطرق السابقة.