شبكات الانتباه الإقليمي للاعتراف بالتعبيرات الوجهية الصامدة للوضع والاختفاء

الحجب والتغيرات في الوضعية، والتي يمكن أن تؤثر بشكل كبير على مظهر الوجه، هي عقبتان رئيسيتان أمام التعرف التلقائي على تعبيرات الوجه (FER). رغم التقدم الكبير الذي أحرزته تقنيات FER خلال العقود الماضية، فإن قضايا الحجب المتين والثبات في الوضعية لم تحظَ بالاهتمام الكافي، خاصة في السيناريوهات الواقعية. يتناول هذا البحث مشكلة التعرف التلقائي على تعبيرات الوجه في ظروف الحجب والتغيرات في الوضعية بثلاثة إسهامات رئيسية. أولاً، لتشجيع الأبحاث حول FER تحت ظروف الحجب والتغيرات في الوضعية الواقعية، قمنا بإنشاء عدة مجموعات بيانات للتعبير عن الوجه من العالم الحقيقي مع شروح يدوية للمجتمع العلمي. ثانياً، نقترح شبكة انتباه المناطق (RAN) جديدة لالتقاط أهمية المناطق الوجهية بشكل تكيفي للتعرف على تعبيرات الوجه في حالتي الحجب والتغيرات في الوضعية. تقوم الشبكة RAN بتجميع وتضمين عدد متغير من خصائص المناطق التي يتم إنتاجها بواسطة شبكة عصبية تقنية الإدراك المكاني الأساسية إلى تمثيل ثابت الطول ومكثف. ثالثاً، مستوحى من حقيقة أن تعبيرات الوجه تعريفها الرئيسي يتم من خلال وحدات العمل الوجهي، نقترح خسارة متحيزة للمناطق لتشجيع وزن انتباه عالي للمناطق الأكثر أهمية. نتحقق من صحة شبكتنا RAN وخسارة المناطق المتحيزة على كل من مجموعات البيانات الاختبارية التي بنيناها وأربع مجموعات بيانات شائعة: FERPlus، AffectNet، RAF-DB وSFEW. تظهر التجارب الواسعة أن شبكتنا RAN وخسارة المناطق المتحيزة تحسنان بشكل كبير أداء التعرف على تعبيرات الوجه مع وجود الحجب والتغيرات في الوضعية. كما حققت طرقنا نتائجًا رائدة على FERPlus، AffectNet، RAF-DB وSFEW. سيتم توفير الكود والمعلومات الاختبارية المجمعة بشكل عام.