توسيع الشبكات العصبية العميقة: توليد الوجوه لتحليل المشاعر

يقدم هذا البحث منهجًا جديدًا لتركيب التعبيرات العاطفية على الوجه؛ سواءً فيما يتعلق بالتعبيرات الأساسية الستة (أي الغضب، الاشمئزاز، الخوف، الفرح، الحزن والدهشة)، أو فيما يتعلق بالقيمة العاطفية (أي مدى إيجابية أو سلبية العاطفة) والتحفيز (أي قوة تنشيط العاطفة). يقبل المنهج المقترح المدخلات التالية: i) صورة ثنائية الأبعاد محايدة للشخص؛ ii) تعبير وجه أساسي أو زوج من وصفي حالة عاطفية قيمة-تحفيز (VA) سيتم توليدهما، أو مسار للتأثير في فضاء VA ثنائي الأبعاد سيتم توليد صور متسلسلة منه. من أجل تركيب التأثيرات بناءً على VA لهذا الشخص، تم توثيق $600,000$ إطار من قاعدة بيانات 4DFAB. يتم تنفيذ تركيب التأثير عن طريق مطابقة نموذج قابل للتغيير ثلاثي الأبعاد على الصورة المحايدة، ثم تشويه الوجه المستعاد وإضافة التأثير المدخل، ودمج الوجه الجديد الذي يحمل التأثير في الصورة الأصلية. توضح التجارب النوعية إمكانية إنتاج صور واقعية عند أخذ الصورة المحايدة من ثلاثة عشر قاعدة بيانات معروفة ومراقبة في المختبر أو طبيعية (in-the-wild)، بما في ذلك Aff-Wild، AffectNet، RAF-DB؛ وتظهر المقارنات مع شبكات المولدات المعادية (GANs) الجودة الأعلى التي حققها المنهج المقترح. بعد ذلك، تم إجراء تجارب كمية باستخدام الصور المتولدة لزيادة البيانات أثناء تدريب الشبكات العصبية العميقة لأداء تحديد التأثير على جميع القواعد البيانات؛ وقد تم تحقيق أداء أفضل بكثير مقارنة بالطرق الرائدة حاليًا وكذلك بزيادة البيانات باستخدام GANs في جميع الحالات.