توسيع SUPIR نحو التميز: نموذج عملي لتوسيع النماذج لاستعادة صور واقعية في البيئات الخارجية

أولاً، مقدمة إلى البرنامج التعليمي

SUPIR (تعزيز استعادة الصور عبر القياس) هو أسلوب ثوري لإصلاح الصور وتحسين جودتها، حيث يستفيد من نماذج توليدية ضخمة مثل Stable Diffusion XL (SDXL) وتقنيات توسيع النموذج، ومن خلال التعلم العميق والأساليب متعددة الوسائط، يحقق استعادة عالية الجودة للصور منخفضة الجودة. يمكنه تكبير الصور ذات الدقة المنخفضة إلى دقة أعلى مع الحفاظ على تفاصيل الصورة وإحساسها بالواقعية. يستطيع SUPIR معالجة حالات التشوه المعقدة المختلفة مثل الضبابية والضوضاء والضغط، مما يتيح استعادة صورة بجودة عالية وتكبير الصور منخفضة الدقة إلى دقة أعلى مع الحفاظ على التفاصيل والإدراك الواقعي للصورة.

كما يدعم الأسلوب التحكم الدقيق في إصلاح الصور باستخدام تلميحات نصية، ويمكنه تعديل جوانب الاستجابة وفقاً للإدخال المقدم من المستخدم. تم إطلاق SUPIR بشكل مشترك بواسطة باحثين من معهد شنتشن المتقدم للأبحاث التابع للأكاديمية الصينية للعلوم، ومختبر Shanghai AI Lab، وجامعة سيدني، ومعهد هونغ كونغ للتكنولوجيا، ومختبر Tencent ARC، والجامعة الصينية في هونغ كونغ. الورقة البحثية المتعلقة بهذا المشروع هي "[التوسع نحو التميز: ممارسة توسعة النماذج للاستعادة الحقيقية للصور في البرية]" (https://arxiv.org/abs/2401.13627))، وقد قُبلت للنشر في مؤتمر CVPR عام 2024.

الموارد المستخدمة في هذا البرنامج التعليمي تعتمد على بطاقتَي عرض RTX 5090. الحد الأقصى لحجم الصورة هو 1.5 ميجابايت.

👉 يوفر المشروع نوعين من النماذج:

• SUPIR-v0Q: الإعدادات الافتراضية أثناء التدريب. يتمتع عادةً بقدرة تعميم عالية وجودة صورة مرتفعة في معظم الحالات.

• SUPIR-v0F: تم تدريبه بإعدادات انخفاض جودة الإضاءة. يحافظ مشفر المرحلة الأولى SUPIR-v0F على المزيد من التفاصيل حتى عند وجود انخفاض في جودة الإضاءة.

أمثلة للمشروع

ثانياً، خطوات التشغيل

1. بعد بدء تشغيل الحاوية، انقر فوق عنوان واجهة برمجة التطبيقات للدخول إلى الواجهة الويب

إذا لم تظهر علامة "النموذج"، فهذا يعني أن النموذج قيد التهيئة الأولية. نظراً لأن حجم النموذج كبير، يرجى الانتظار لمدة تقارب 5 دقائق ثم تحديث الصفحة.

2. بمجرد الدخول إلى صفحة الويب، يمكنك البدء بالتفاعل مع النموذج

خطوات الاستخدام

معلومات الاقتباس

معلومات اقتباس لهذا المشروع كالتالي:

@misc{yu2024scaling,
  title={Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild}, 
  author={Fanghua Yu and Jinjin Gu and Zheyuan Li and Jinfan Hu and Xiangtao Kong and Xintao Wang and Jingwen He and Yu Qiao and Chao Dong},
  year={2024},
  eprint={2401.13627},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

[JIALIU_0]