استكشاف الإمكانات الناتجة عن التفاعلات القناة في استعادة الصور

تهدف إعادة ترميم الصور إلى استعادة صورة واضحة من ملاحظة متدهورة. وقد حققت الشبكات العصبية التلافيفية أداءً واعدًا في هذه المهمة. ومع ذلك، فإن استخدام نماذج التحويل (Transformer) قد أحدث تقدمًا كبيرًا في الأداء الراقي من خلال نمذجة الاعتماديات طويلة المدى. ومع ذلك، تركز هذه الهياكل العميقة بشكل رئيسي على تحسين تعلم التمثيل في البُعد المكاني، وتجاهل أهمية التفاعلات بين القنوات. في هذا البحث، نستكشف الإمكانات الكامنة للتفاعلات بين القنوات لإعادة ترميم الصور من خلال اقتراحنا لآلية انتباه قنوات ثنائية المجال. وعلى وجه التحديد، يسمح انتباه القنوات في المجال المكاني لكل قناة بجمع إشارات قيمة من القنوات المجاورة تحت إشراف أوزان ديناميكية تم تعلّمها. وللتمكّن من استغلال الفرق الكبير في التردد بين أزواج الصور المتدهورة والصورة النظيفة، نطور آلية انتباه قنوات ضمن المجال الترددي الضمني، بهدف تعزيز دمج المعلومات من ترددات مختلفة. تُظهر التجارب الواسعة أن الشبكة المقترحة، التي أُطلق عليها اسم ChaIR، تحقق أداءً يُعدّ الأفضل في الميدان على 13 مجموعة بيانات معيارية لخمسة مهام لإعادة ترميم الصور، بما في ذلك إزالة الضباب، وإزالة الضباب الحركي/الضباب البؤري، وإزالة الثلوج، وإزالة المطر.