تعلم التعبيرات المُرعبة من خلال مشاهدة التلفاز

بخلاف أنظمة الرؤية الحاسوبية التي تتطلب إشرافًا صريحًا، يمكن للبشر تعلم التعبيرات الوجهية من خلال مراقبة الأشخاص في بيئتهم. في هذا البحث، ندرس كيفية تطوير قدرات مشابهة في رؤية الآلة. كنقطة انطلاق، نعتبر مشكلة ربط التعبيرات الوجهية بالأحداث القابلة للقياس الموضوعي التي تحدث في مقاطع الفيديو. بشكل خاص، ننظر إلى برنامج المسابقات حيث يتنافس المتسابقون للفوز بمبالغ كبيرة من المال. نستخرج الأحداث المؤثرة على اللعبة والتعبيرات الوجهية المرتبطة بها بطريقة موضوعية وتلقائية من مقاطع الفيديو، مما يتيح لنا الحصول على كميات كبيرة من البيانات المصنفة لدراستنا. كما نطور شبكات عصبية عميقة متقدمة للاعتراف بالتعبيرات الوجهية باستخدام مقاييس مثل FER و SFEW 2.0 (FER و SFEW 2.0)، مما يظهر أن التدريب المسبق على بيانات التحقق من الهوية الوجهية يمكن أن يكون مفيدًا للغاية لهذه المهمة. بعد ذلك، نوسع هذه النماذج لاستخدام التعبيرات الوجهية لتوقع الأحداث في مقاطع الفيديو وتعلم التعبيرات القابلة للتسمية منها. مجموعة البيانات ونماذج اعتراف العواطف متاحة على الرابط: http://www.robots.ox.ac.uk/~vgg/data/facevalue