شبكة عصبية متعددة المهام فعالة لمحاذاة الوجه وتقدير اتجاه الرأس وتتبع الوجه

بينما ساهمت الشبكات العصبية التلافيفية (CNNs) بشكل كبير في تحسين أداء الخوارزميات المرتبطة بالوجه، يظل الحفاظ على الدقة والكفاءة معًا في الاستخدام العملي تحديًا كبيرًا. تستخدم الطرق الحديثة للحالة الراهنة شبكات أعمق لتحقيق أداء أفضل، لكن هذا يجعلها أقل ملاءمة للتطبيقات المحمولة بسبب زيادة عدد المعاملات وتعقيد الحسابات. لذلك، نقترح شبكة عصبية متعددة المهام فعّالة تُسمى شبكة التوافق والتعقب والاتجاه (ATPN) لمهام توحيد الوجه، وتعقب الوجه، وتقدير اتجاه الرأس. وبشكل خاص، لتحقيق أداء أفضل باستخدام عدد أقل من الطبقات في توحيد الوجه، نُدخل اتصالًا مباشرًا (shortcut connection) بين ميزات الطبقات السطحية والعميقة. وجدنا أن ميزات الطبقات السطحية مرتبطة بشكل كبير بحدود الوجه، حيث توفر معلومات هيكلية عن الوجه، وهي أمر بالغ الأهمية لعملية توحيد الوجه. علاوةً على ذلك، نُنشئ خريطة حرارية منخفضة التكلفة استنادًا إلى نتيجة توحيد الوجه، ونُدمجها مع الميزات لتحسين أداء المهمتين الأخريين. وباستخدام هذه الخريطة الحرارية، يمكن للشبكة الاستفادة من المعلومات الهندسية للنقاط المرجعية والمعلومات البصرية في تقدير اتجاه الرأس. كما توفر الخريطة الحرارية أيضًا أدلة انتباه لعملية تعقب الوجه. كما أن مهمة تعقب الوجه تُوفر لنا عملية كشف الوجه في كل إطار، مما يُعزز بشكل كبير القدرة على العمل في الزمن الفعلي في المهام القائمة على الفيديو. وقد قمنا بتأكيد أداء ATPN تجريبيًا على أربع مجموعات بيانات معيارية: WFLW و300VW وWIDER Face و300W-LP. وأظهرت النتائج التجريبية أن الشبكة تحقق أداءً أفضل بعدد معاملات أقل وتعقيدًا حسابيًا أقل مقارنةً بالنماذج الخفيفة الأخرى.