TransWeather: استعادة الصور المتدهورة بسبب الظروف الجوية السيئة باستخدام نموذج Transformer

إزالة الظروف الجوية السيئة مثل المطر والضباب والثلوج من الصور هي مشكلة مهمة في العديد من التطبيقات. معظم الطرق المقترحة في الأدبيات تم تصميمها للتعامل مع إزالة نوع واحد فقط من التدهور. مؤخرًا، تم اقتراح طريقة تعتمد على الشبكات العصبية باستخدام بحث الهندسة العصبية (All-in-One) لإزالة جميع الظروف الجوية دفعة واحدة. ومع ذلك، فإن هذه الطريقة تحتوي على عدد كبير من المعلمات نظرًا لاستخدامها لمجموعة من المشفرين لكل مهمة إزالة ظروف جوية، و لا تزال هناك مجالات للتحسين في أدائها. في هذا العمل، نركز على تطوير حل فعال للمشكلة المتعلقة بإزالة جميع الظروف الجوية السيئة. لتحقيق هذا الهدف، نقترح TransWeather، وهو نموذج متكامل يعتمد على المحولات (transformers) ويحتوي على مشفّر واحد فقط ومفكك رموز (decoder). يمكن لهذا النموذج استعادة صورة متدهورة بسبب أي ظرف جوي. بشكل خاص، نستفيد من مشفّر محولات جديد يستخدم كتل محولات داخلية (intra-patch transformer blocks) لتعزيز التركيز داخل القطع وإزالة التدهورات الجوية الصغيرة بكفاءة. كما قمنا بتقديم مفكك رموز محولات مع ترميزات أنواع الطقس القابلة للتعلم لتعديل نفسه وفقًا للتدهور الجوي الحالي. حقق TransWeather تحسينات عبر عدة مجموعات بيانات اختبار مقارنة بشبكة All-in-One وكذلك الطرق التي تم ضبطها بدقة لمهام محددة. كما تم التحقق من فعالية TransWeather على صور الاختبار الحقيقية وأثبت أنه أكثر فعالية من الطرق السابقة. يمكن الوصول إلى شفرة التنفيذ عبر الرابط: https://github.com/jeya-maria-jose/TransWeather .