تحسين صورة الفائقة الدقة من خلال نقل النسيج العصبي

بسبب فقدان المعلومات الكبير في الصور ذات الدقة المنخفضة (LR)، أصبح من الصعب للغاية تطوير تقنيات التكبير الفائق للصورة الواحدة (SISR) بشكل أكبر. ومع ذلك، أثبتت تقنية التكبير الفائق بالمرجع (RefSR) فعاليتها في استعادة التفاصيل ذات الدقة العالية (HR) عند توفير صورة مرجعية (Ref) تحتوي على محتوى مشابه للصورة المدخلة بدقة منخفضة. ومع ذلك، يمكن أن تنخفض جودة RefSR بشكل كبير عندما تكون الصورة المرجعية أقل شبهاً. يهدف هذا البحث إلى الاستفادة القصوى من إمكانات RefSR عن طريق استخدام المزيد من تفاصيل النسيج من الصور المرجعية مع قوة مقاومة أعلى حتى عند تقديم صور مرجعية غير ذات صلة. مستوحىً من الأعمال الحديثة في مجال تغيير أسلوب الصور، نقوم بصياغة مشكلة RefSR كنقل نسيجي عصبي. نصمم نموذجاً عميقاً شاملاً يثري التفاصيل ذات الدقة العالية بنقل النسيج من الصور المرجعية بشكل تكيفي وفقًا لتشابه النسيج بينهما. بدلاً من مطابقة المحتوى في فضاء البكسل الأصلي كما فعلت الطرق السابقة، فإن المساهمة الرئيسية لدينا هي إجراء مطابقة متعددة المستويات في الفضاء العصبي. يساعد هذا نظام المطابقة على نقل عصبي متعدد المقاييس، مما يسمح للنموذج باستفادة أكبر من تلك القطع المرتبطة دلالياً في الصور المرجعية، ويتحلل بسلاسة إلى أداء SISR على الإدخالات المرجعية الأقل صلة. نقوم بإنشاء مجموعة بيانات معيارية لبحث RefSR العام، والتي تحتوي على صور مرجعية مرتبطة بالإدخالات LR بمختلف مستويات التشابة. تظهر التقييمات الكمية والنوعية تفوق طريقتنا على أفضل التقنيات الحالية في هذا المجال.