الاستعادة الشاملة للصور المستندة إلى الدفعات والموجهة نحو المكونات

يهدف استعادة الصور إلى استرجاع الصور ذات الجودة العالية من ملاحظاتها المتدنية. نظرًا لأن معظم الطرق الحالية قد ركزت على إزالة نوع واحد من التدهور، فقد لا تحقق نتائج مثلى في أنواع أخرى من التدهورات التي لا تلبي التطبيقات في السيناريوهات الواقعية. في هذا البحث، نقترح نهجًا جديدًا يركز على مكونات البيانات يستخدم التعلم القائم على الدفعات (prompt-based learning) لتمكين نموذج واحد من التعامل بكفاءة مع مهام متعددة للتدهور في الصور. بشكل خاص، نستخدم مُشفِّرًا (encoder) لالتقاط الخصائص ونقدم دفعات تحتوي على معلومات خاصة بالتدهور لتوجيه المُفكِّك (decoder) في استعادة الصور المتضررة بأشكال مختلفة من التدهور بشكل تكيفي. لنمذجة الخصائص الثابتة المحلية والمعلومات غير المحلية لاستعادة صورة عالية الجودة، قمنا بدمج عمليات الشبكات العصبية التقليدية (CNNs) والترانسفورمرات (Transformers). وفي الوقت نفسه، أجرينا تصاميم حاسمة في كتل الترانسفورمر (كتل الانتباه المتعددة الرؤوس مع الدفعات والشبكة الأمامية ذات البوابة البسيطة) لتقليل متطلبات الحساب واختيار ما يجب الحفاظ عليه من المعلومات لتسهيل استعادة صور حادة محتملة بكفاءة. علاوة على ذلك، قمنا بدمج آلية دمج الخصائص لاستكشاف المعلومات متعددة المقاييس وتحسين الخصائص المجمعة. وقد أظهرت التجارب الواسعة أن الطريقة الناتجة عن هذا النموذج ذو الهيكل الهرمي المرتبط بإحكام، المعروف باسم CAPTNet، أدائها التنافسي بالمقارنة مع أفضل الأساليب الحالية.