إعادة إضاءة الوجه الفردية من صورة واحدة باستخدام نماذج لغوية كبيرة

تتطلب الطرق التقليدية القائمة على الفيزياء لتعديل الإضاءة في صور الوجوه حل مشكلة التصوير العكسي، والتي تتضمن تقدير هندسة الوجه، وخصائص الانعكاس، وإضاءة البيئة. ومع ذلك، فإن تقدير غير دقيق لمكونات الوجه يمكن أن يؤدي إلى ظهور تشوهات قوية في النتائج، ما ينتج عنه نتائج غير مرضية. في هذا العمل، نطبق طريقة تعديل إضاءة وجوه قائمة على الفيزياء لإنشاء مجموعة بيانات واسعة النطاق وعالية الجودة لتعديل الإضاءة في صور الوجوه "في البيئة الطبيعية" (DPR). ثم يتم تدريب شبكة عصبية متعددة الطبقات (CNN) باستخدام هذه المجموعة لتكوين صورة وجوه مُعدّلة إضاءتها باستخدام صورة مصدرية وبيئة إضاءة مستهدفة كمدخلات. يُعدّ إجراء التدريب مُنظّمًا للنتائج المُولَّدة، ويُزيل التشوهات الناتجة عن الطرق القائمة على الفيزياء. كما يتم تطبيق خسارة GAN لتحسين جودة الصورة المُعدّلة إضاءتها. يمكن للشبكة المدربة تعديل إضاءة صور الوجوه ذات دقة تصل إلى 1024 × 1024. تم تقييم الطريقة المقترحة على مجموعة بيانات DPR المقترحة، ومجموعة بيانات Flickr للوجوه، ومجموعة بيانات Multi-PIE، من حيث الجودة البصرية والكمية. تُظهر التجارب أن الطريقة المقترحة تحقق نتائج تفوق الحد الأقصى المُحقَّق حاليًا في المجال. يُرجى الرجوع إلى https://zhhoper.github.io/dpr.html للحصول على مجموعة البيانات والكود.