إعادة الترميم الصوتي من خلال اختيار التردد

تهدف إعادة تكوين الصور إلى استعادة الصورة الحادة الكامنة من نسخة مُتضررة منها. بالإضافة إلى معالجة هذه المهمة الطويلة الأمد في المجال المكاني، يسعى بعض النماذج إلى حلول في المجال الترددي من خلال أخذ التباين الكبير بين طيف الصور الحادة والصور المتضررة بعين الاعتبار. ومع ذلك، تُستخدم غالبًا أدوات تحويل مثل تحويل الموجات (Wavelet Transform) في هذه الخوارزميات لتقسيم الميزات إلى أجزاء تردديّة متعددة، وهي طريقة لا تتمتع بالمرونة الكافية لاختيار المكون الترددي الأكثر إفادة في عملية الاستعادة. في هذا البحث، نستكشف وحدة متعددة الفروع واعية للمحتوى لتقسيم الميزات إلى نطاقات ترددية منفصلة بشكل ديناميكي ومحلي، ثم نعزز المكونات المفيدة من خلال أوزان انتباه حسب القنوات. علاوة على ذلك، لمعالجة تشويهات التمويه الكبيرة الحجم، نقترح وحدة فصل وتعديل بسيطة للغاية لتوسيع مجال الاستقبال من خلال متوسط التجميع العالمي والمحلي (Global and Window-based Average Pooling). بالإضافة إلى ذلك، ندمج نموذج الشبكات متعددة المراحل في شبكة واحدة ذات شكل U لاستهداف مجالات استقبال متعددة المقاييس وتحسين الكفاءة. وأخيرًا، عند دمج هذه التصاميم في هيكل أساسي مبني على التحويلات التلافيفية (Convolutional Backbone)، فإن الشبكة المقترحة، المسمّاة بشبكة اختيار التردد (FSNet)، تُظهر أداءً متميزًا مقارنة بالخوارزميات الرائدة في السوق على 20 مجموعة بيانات معيارية مختلفة لستة مهام رئيسية في إعادة تكوين الصور، تشمل إزالة التمويه الناتج عن التركيز غير المثالي للصورة الفردية، وإزالة الضباب، وإزالة التمويه الناتج عن الحركة، وإزالة الثلوج، وإزالة المطر، وإزالة الضوضاء.