SwinFIR: إعادة النظر في SwinIR مع التفاف فورييه السريع وتحسين التدريب لزيادة دقة الصور

حققت الطرق المستندة إلى الشبكات العصبية التحويلية (Transformers) أداءً ملحوظًا في استعادة الصور بفضل قدرتها على نمذجة الارتباطات الطويلة المدى مقارنة بالطرق المستندة إلى الشبكات العصبية الم��ية (CNN). ومع ذلك، فإن التطورات مثل طريقة SwinIR تتبني استراتيجية الانتباه القائمة على النوافذ والمحلي لموازنة الأداء والتكلفة الحسابية، مما يحد من استخدام حقول الاستقبال الكبيرة لالتقاط المعلومات العالمية وإنشاء ارتباطات طويلة في الطبقات الأولى. لتحسين كفاءة التقاط المعلومات العالمية بشكل أكبر، نقترح في هذا العمل طريقة SwinFIR لتوسيع نطاق SwinIR من خلال استبدال مكونات التحويل الفوري السريع (Fast Fourier Convolution - FFC)، والتي تتمتع بحقل استقبال يغطي الصورة بأكملها. كما نعيد النظر في تقنيات متقدمة أخرى مثل تحسين البيانات، التدريب المسبق، ودمج الخصائص لتحسين فعالية إعادة بناء الصور. وطريقة دمج الخصائص الخاصة بنا تمكن من تعزيز أداء النموذج بشكل كبير دون زيادة وقت التدريب أو الاختبار. قدمنا خوارزميتنا على عدة مقاييس شهيرة وكبيرة الحجم وأحرزنا أداءً رائدًا مقارنة بالطرق الموجودة حاليًا. على سبيل المثال، حققت طريقة SwinFIR لدينا نسبة PSNR تبلغ 32.83 ديسيبل على مجموعة بيانات Manga109، وهي أعلى بمقدار 0.8 ديسيبل من أفضل طريقة موجودة حاليًا وهي SwinIR.