نتائج مثيرة للاهتمام بشأن اختيار التردد لاسترجاع الصور المضببة

تم تحليل الضبابية بشكل طبيعي في مجال الترددات، من خلال تقدير الصورة الحادة الكامنة ونواة الضبابية المعطاة بصورة مشوهة. تُظهر التطورات الحديثة في تفتيت الصور المشوهة دائمًا تصميمًا متكاملًا (end-to-end) يهدف إلى تعلّم الفرق بين أزواج الصور المشوهة والواضحة على مستوى البكسل، وهو ما يؤدي بشكل لا مفر منه إلى إغفال الأهمية الحقيقية لنوى الضبابية. تُظهر هذه الورقة ظاهرة مثيرة للاهتمام تتمثل في أن تطبيق عملية ReLU على مجال الترددات للصورة المشوهة، تليها تحويل فورييه العكسي، أي "اختيار الترددات"، يوفر معلومات دقيقة حول نمط الضبابية (مثل اتجاه الضبابية ومستوى الضبابية، مما يُظهر بشكل ضمني نمط النواة). استنادًا إلى هذه الملاحظة، نحاول الاستفادة من المعلومات على مستوى النواة في شبكات تفتيت الصور المشوهة من خلال إدخال تحويل فورييه، وعملية ReLU، وتحويل فورييه العكسي داخل الكتلة القياسية ResBlock. كما تُضاف عملية ت convolution 1×1 إضافية لتمكين الشبكة من ضبط حدود مرنة لاختيار الترددات. نُسمي الكتلة الجديدة التي تم بناؤها "Res FFT-ReLU Block"، والتي تستفيد من الخصائص على مستوى النواة وعلى مستوى البكسل من خلال تعلم تمثيلات ثنائية المجال (مجال الترددات والمجال المكاني). أُجريت تجارب واسعة لتحليل شامل لرؤى هذه الطريقة. علاوةً على ذلك، عند دمج الكتلة المقترحة في NAFNet، تم تحقيق نتيجة قدرها 33.85 ديسيبل في معيار PSNR على مجموعة بيانات GoPro. تُظهر طريقة العمل تحسينًا ملحوظًا في الأطر الأساسية دون إدخال عدد كبير من المعاملات، مع الحفاظ على التعقيد الحسابي المنخفض. يمكن الوصول إلى الكود عبر الرابط: https://github.com/DeepMed-Lab/DeepRFT-AAAI2023.