Command Palette
Search for a command to run...
DiffBIR: نحو استعادة الصور العمياء باستخدام النموذج الجيني للانتشار
DiffBIR: نحو استعادة الصور العمياء باستخدام النموذج الجيني للانتشار
Xinqi Lin Jingwen He Ziyan Chen Zhaoyang Lyu Bo Dai Fanghua Yu Wanli Ouyang Yu Qiao Chao Dong
الملخص
نقدم نظام DiffBIR، وهو خط أنابيب استعادة عام يمكنه التعامل مع مهام مختلفة لاستعادة الصور العمياء في إطار موحد. يتم فصل مشكلة استعادة الصور العمياء في DiffBIR إلى مرحلتين: 1) إزالة التدهور: إزالة المحتوى المستقل عن الصورة؛ 2) إعادة توليد المعلومات: توليد المحتوى الضائع من الصورة. يتم تطوير كل مرحلة بشكل مستقل، ولكنها تعمل بسلاسة بطريقة متسلسلة. في المرحلة الأولى، نستخدم وحدات الاستعادة لإزالة التدهور والحصول على نتائج استعادة عالية الدقة. أما بالنسبة للمرحلة الثانية، فقد اقترحنا IRControlNet الذي يستفيد من قدرة النماذج التفتيحية الكامنة على توليد تفاصيل واقعية. بشكل خاص، يتم تدريب IRControlNet بناءً على صور شرطية تم إنتاجها خصيصًا بدون محتوى ضوضائي مزعج لتحقيق أداء توليدي مستقر. بالإضافة إلى ذلك، صممنا إرشادًا استعاديًا متكيفًا بالمنطقة يمكنه تعديل عملية التنقية خلال الاستدلال دون إعادة تدريب النموذج، مما يسمح للمستخدمين بتوازن بين الواقعية والدقة من خلال مقياس إرشاد قابل للضبط. أثبتت التجارب الواسعة تفوق DiffBIR على أفضل الأساليب الحالية لمهام زيادة دقة الصور العمياء واستعادة الوجوه العمياء وإزالة الضوضاء من الصور العمياء على كلاً من مجموعة البيانات الاصطناعية والواقعية. الرمز البرمجي متاح على الرابط https://github.com/XPixelGroup/DiffBIR.