التعرف على العواطف المستند إلى السياق باستخدام مجموعة بيانات EMOTIC

في حياتنا اليومية وتفاعلاتنا الاجتماعية، نحاول غالبًا استشعار حالات الناس العاطفية. لقد تم إجراء الكثير من الأبحاث لتزويد الآلات بقدرة مماثلة على التعرف على العواطف. من منظور الرؤية الحاسوبية، ركزت معظم الجهود السابقة على تحليل التعبيرات الوجهية، وفي بعض الحالات أيضًا وضع الجسم. تعمل بعض هذه الطرق بشكل ملحوظ في بيئات معينة. ومع ذلك، فإن أدائها محدود في البيئات الطبيعية غير المقيدة. تظهر الدراسات النفسية أن سياق المشهد، بالإضافة إلى التعبير الوجهي ووضع الجسم، يوفر معلومات مهمة لاستشعار عواطف الناس. ومع ذلك، لم يتم استكشاف معالجة السياق للتعرف على العواطف بشكل آلي بشكل كافٍ، جزئيًا بسبب نقص البيانات المناسبة.في هذا البحث نقدم EMOTIC، وهو مجموعة بيانات تحتوي على صور للأشخاص في مجموعة متنوعة من المواقف الطبيعية، وقد تم تصنيفها بناءً على العواطف الظاهرة. تجمع مجموعة بيانات EMOTIC بين نوعين مختلفين من تمثيل العواطف: (1) مجموعة من 26 فئة متقطعة، و(2) الأبعاد المستمرة للقيمة (Valence)، الاستجابة (Arousal)، والسيطرة (Dominance). كما نقدم تحليلًا إحصائيًا وماليًا مفصلًا للمجموعة البيانات بالإضافة إلى تحليل اتفاق المصنفين. باستخدام مجموعة بيانات EMOTIC، ندرب نماذج CNN مختلفة للتعرف على العواطف، مع دمج المعلومات الموجودة في الصندوق الحددي الذي يحتوي على الشخص والمعلومات السياقية المستخرجة من المشهد.تظهر نتائجنا كيف أن سياق المشهد يوفر معلومات مهمة للتعرف الآلي على الحالات العاطفية ويحفز المزيد من الأبحاث في هذا الاتجاه. تم توفير مصدر المجموعة البيانات والرمز البرمجي بشكل حر ومفتوح المصدر ويمكن الوصول إليهما عبر الرابط: https://github.com/rkosti/emotic ، ورابط المقالة التي تم النظر فيها وتقييمها بالنظراء: https://ieeexplore.ieee.org/document/8713881