نورفيس: تحسين تحليل التعبيرات الوجهية من خلال التطبيع الهوياتي

تحليل التعبيرات الوجهية يظل مهمة صعبة بسبب الضوضاء غير ذات الصلة بالمهمة وغير المتوقعة، مثل الهوية ووضع الرأس والخلفية. لمعالجة هذه المشكلة، تقترح هذه الورقة إطارًا جديدًا يُسمى Norface، والذي يتم توحيد استخدامه لكل من مهام تحليل الوحدات الفعلية (AU) وتعرف العواطف الوجهية (FER). يتكون Norface من شبكة تطبيع وشبكة تصنيف. أولاً، تعمل الشبكة المُصممة بعناية للتطبيع على إزالة الضوضاء غير ذات الصلة بالمهمة مباشرة، مع الحفاظ على اتساق التعبيرات الوجهية ولكن بتطبيع جميع الصور الأصلية إلى هوية مشتركة بوضع ثابت وخلفية موحدة. ثم يتم إدخال هذه الصور المُطبّبة الإضافية إلى شبكة التصنيف. نظرًا لاتساق الهوية والعوامل الأخرى (مثل وضع الرأس والخلفية وما إلى ذلك)، فإن الصور المُطبّبة تمكن شبكة التصنيف من استخراج المعلومات التعبيرية المفيدة بشكل أكثر فعالية. بالإضافة إلى ذلك، تتضمن شبكة التصنيف خليطًا من الخبراء (Mixture of Experts) لتحسين التمثيل الخفي، بما في ذلك التعامل مع مدخلات تمثيلات الوجه ومخرجات العلامات المتعددة (AU أو العواطف).أجريت تجارب واسعة النطاق لتأكيد صحة الإطار المُصمم بعناية مع رؤية تطبيع الهوية. أثبتت الطريقة المقترحة أنها أفضل من الأساليب الحالية الأكثر تقدمًا (SOTA) في العديد من مهام تحليل التعبيرات الوجهية، بما في ذلك كشف الوحدات الفعلية (AU)، تقدير شدة الوحدات الفعلية (AU)، ومهمة تعرف العواطف الوجهية (FER)، وكذلك مهماتهم عبر البيانات. لمزيد من المعلومات حول البيانات المُطبّبة والكود، يرجى زيارة {https://norface-fea.github.io/}.