Super-FAN: تكامل تحديد معالم الوجه وتحسين دقة صور الوجوه ذات الدقة المنخفضة في الأوضاع العشوائية باستخدام شبكات GAN

يتناول هذا البحث مهمتين صعبتين: تحسين جودة الصور الفوتوغرافية للوجوه ذات الدقة المنخفضة وتحديد معالم الوجه بدقة على هذه الصور ذات الجودة المنخفضة. لتحقيق ذلك، نقدم الخمس مساهمات التالية:(أ) نقترح نظام Super-FAN: أول نظام شامل يعالج كلا المهمتين في آن واحد، أي أنه يحسن دقة الوجه ويكتشف معالم الوجه. يتميز Super-FAN بدمجه للمعلومات الهيكلية في خوارزمية زيادة الدقة المستندة إلى GAN من خلال دمج شبكة فرعية لمحاذاة الوجه عبر الانحدار الحراري (heatmap regression) وتحسين خسارة حرارية جديدة (novel heatmap loss).(ب) نوضح فائدة تدريب الشبكتين بشكل مشترك من خلال الإبلاغ عن نتائج جيدة ليس فقط على الصور الأمامية (كما في الأبحاث السابقة) بل على طيف كامل من وضعيات الوجه، وليس فقط على الصور ذات الدقة المنخفضة المصنعة (كما في الأبحاث السابقة) بل أيضًا على الصور الحقيقية.(ج) نحسن على أحدث ما وصلت إليه التقنيات في زيادة دقة الوجوه من خلال اقتراح هندسة معمارية جديدة تعتمد على الطبقات المتبقية (residual-based architecture).(د) كمياً، نظهر تحسينات كبيرة على أحدث ما وصلت إليه التقنيات لكل من زيادة دقة الوجوه والمحاذاة.(هـ) نوعياً، نظهر لأول مرة نتائج جيدة على الصور الحقيقية ذات الدقة المنخفضة.