شبكة ترانسفورمر تحت إشراف للكشف السريع عن الوجه

تظل التغيرات الكبيرة في الوضعية تمثل تحديًا يواجه اكتشاف الوجوه في العالم الحقيقي. نقترح شبكة عصبية تلافيفية متسلسلة جديدة، أطلقنا عليها اسم شبكة المحول المشرف (Supervised Transformer Network)، لمعالجة هذا التحدي. المرحلة الأولى هي شبكة اقتراح المناطق متعددة المهام (Region Proposal Network - RPN)، والتي تتوقع مناطق الوجه المرشحة ونقاط العلامات الوجهية المرتبطة بها بشكل متزامن. ثم يتم تشويه المناطق المرشحة عن طريق رسم نقاط العلامات الوجهية المكتشفة إلى مراكزها القانونية لتحسين تطبيع أنماط الوجه. المرحلة الثانية، وهي شبكة RCNN، تقوم بعد ذلك بتحقق ما إذا كانت المناطق المرشحة المشوهة وجوهًا صالحة أم لا. نقوم بتعلم شامل من النهاية إلى النهاية للشبكة المتسلسلة، بما في ذلك تحسين مراكز النقاط القانونية لنقاط العلامات الوجهية. هذا التعلم المشرف للتحويلات يختار تلقائيًا أفضل نطاق لتمييز أنماط الوجه/الليست وجه. من خلال دمج خرائط الميزات من كلتا مرحلتي الشبكة، نحقق دقة اكتشاف تعتبر الأفضل على مستوى العالم في عدة مقاييس عامة. لتحقيق الأداء الفعلي الزمني، نقوم بتشغيل الشبكة المتسلسلة فقط على المناطق ذات الاهتمام التي تم إنتاجها بواسطة كاشف الوجوه المتدرج بالتعزيز (boosting cascade face detector). يعمل كاشفنا بمعدل 30 إطارًا في الثانية على نواة معالج واحدة لصورة بدقة VGA.