تعلم الإرشاد الملتوي لاستعادة الوجه بدون إشراف

يقوم هذا البحث بدراسة مشكلة استعادة الوجه بطريقة غير محددة من صورة ضبابية، مليئة بالضوضاء، ذات دقة منخفضة، أو مضغوطة (أي، ملاحظة متدهورة). لتحسين استعادة التفاصيل الدقيقة للوجه، نعدل الإعداد المشكلة بإدخال كل من الملاحظة المتدهورة وصورة مرشدة عالية الجودة لنفس الهوية إلى شبكتنا لاستعادة الوجه المرشدة (GFRNet). ومع ذلك، فإن الملاحظة المتدهورة والصورة المرشدة عادة ما تختلفان في وضع الرأس، الإضاءة والتعبيرات، مما يجعل الشبكات العصبية التقليدية (مثل U-Net) غير قادرة على استعادة التفاصيل الدقيقة والمرتبطة بهوية الوجه. لحل هذه المشكلة، يشمل نموذج GFRNet لدينا كلًا من شبكة تواءم فرعيّة (WarpNet) وشبكة إعادة بناء فرعية (RecNet). يتم تقديم WarpNet لتوقع حقل التدفق لتواءم الصورة المرشدة لتصحيح وضع الرأس والتعبيرات (أي، التوجيه المُواءَم)، بينما يأخذ RecNet الملاحظة المتدهورة والتوجيه المُواءَم كمدخلات لإنتاج نتيجة الاستعادة. نظرًا لأن حقل التدفق الحقيقي غير متاح، تم دمج خسارة المعالم مع التنظيم الكلي للتغيرات لإرشاد تعلم WarpNet. بالإضافة إلى ذلك، لتحقيق جعل النموذج قابلًا للتطبيق في الاستعادة غير المحددة، يتم تدريب GFRNet على بيانات اصطناعية مع إعدادات متنوعة لمتعدد الضبابية، مستوى الضوضاء، عامل تقليص الدقة وعامل جودة JPEG. تظهر التجارب أن GFRNet الخاصة بنا ليس فقط تقوم بأداء أفضل من طرق استعادة الصور والوجوه الأكثر تقدمًا فحسب، بل إنها أيضًا تنتج نتائج بصريًّا واقعية على الصور الفوتوغرافية الحقيقية المتدهورة.