LoFormer: محول التردد المحلي للإزالة التلقائية للضبابية من الصور

نظرًا للتعقيد الحسابي لانتباه ذاتي (SA)، تلجأ التقنيات الشائعة في إزالة ضبابية الصور غالبًا إلى إما استخدام انتباه ذاتي موضعي أو توظيف أساليب انتباه ذاتي عالمي بتدريج خشن، وكلتا الحالتين تُظهران عيوبًا مثل التنازل عن النمذجة العالمية أو نقص الارتباط الدقيق. ولحل هذه المشكلة من خلال نمذجة فعّالة للعلاقات الطويلة المدى دون التضحية بالتفاصيل الدقيقة، نقدّم منهجية جديدة تُسمّى "مُحول التردد الموضعي" (LoFormer). داخل كل وحدة من LoFormer، ندمج انتباه ذاتي موضعي حسب القنوات في مجال التردد (Freq-LC)، بهدف التقاط التغاير المتقاطع داخل النوافذ المحلية من الترددات المنخفضة والمرتفعة في آنٍ واحد. توفر هذه العمليات ميزة (1) ضمان فرص تعليم متكافئة لكل من الهياكل الخشنة والتفاصيل الدقيقة، و(2) استكشاف مدى أوسع من الخصائص التمثيلية مقارنةً بالأساليب التقليدية للانتباه الذاتي العالمي الخشنة. بالإضافة إلى ذلك، نقدّم آلية تمرير MLP مكملة لـ Freq-LC، والتي تُستخدم لتصفية السمات غير ذات صلة وتعزيز قدرات التعلّم العالمي. تُظهر تجاربنا أن LoFormer يُحسّن بشكل كبير الأداء في مهمة إزالة ضبابية الصور، حيث يحقق PSNR قدره 34.09 ديسيبل على مجموعة بيانات GoPro بـ 126G من FLOPs. https://github.com/DeepMed-Lab-ECNU/Single-Image-Deblur