DifFace: استعادة الوجوه بدون إشراف باستخدام تقلص الخطأ المُتَسَرِّب

بينما حققت الطرق المعتمدة على التعلم العميق في استعادة الوجوه بدون معلومات (Blind Face Restoration) نجاحًا غير مسبوق، إلا أنها لا تزال تعاني من قيودين رئيسيين. أولاً، معظم هذه الطرق تتدهور عند التعامل مع تدهورات معقدة خارج نطاق بيانات التدريب الخاصة بها. ثانيًا، تتطلب هذه الطرق العديد من القيود، مثل الدقة (Fidelity)، الخسارة الإدراكية (Perceptual Loss)، والخسارة المعادية (Adversarial Loss)، والتي تحتاج إلى ضبط متوازن ومعقد للمراميز الفائقة (Hyper-parameters) لاستقرارها وتوازن تأثيراتها. في هذا العمل، نقترح طريقة جديدة باسم DifFace قادرة على التعامل بسلاسة أكبر مع التدهورات الغير معروفة والمعقدة دون الحاجة إلى تصميمات خسارة معقدة. المفتاح في طريقتنا هو إنشاء توزيع ما بعدي (Posterior Distribution) من الصورة ذات الجودة المنخفضة (LQ) إلى نظيرتها ذات الجودة العالية (HQ). بشكل خاص، صممنا توزيع انتقال من الصورة ذات الجودة المنخفضة إلى الحالة الوسيطة لنموذج التوسع المُدرب مسبقًا (Pre-trained Diffusion Model)، ومن ثم نقوم بنقل تدريجي من هذه الحالة الوسيطة إلى الهدف ذي الجودة العالية عن طريق تطبيق متكرر لنموذج التوسع المُدرب مسبقًا. يعتمد توزيع الانتقال فقط على هيكل الاستعادة الأساسي الذي يتم تدريبه باستخدام خسارة $L_2$ على بعض البيانات المصنعة، مما يتجنب عملية التدريب المعقدة الموجودة في الطرق الحالية. بالإضافة إلى ذلك، يمكن لتوزيع الانتقال تقليص خطأ هيكل الاستعادة الأساسي وبالتالي يجعل طريقتنا أكثر مقاومة للتدهورات غير المعروفة. تظهر التجارب الشاملة أن DifFace أفضل من أفضل الطرق الحالية، خاصة في الحالات التي تحتوي على تدهورات شديدة. الرمز البرمجي والنماذج متاحة على الرابط https://github.com/zsyOAOA/DifFace.