RainMamba: تحسين تعلم الجوار باستخدام نماذج الفضاء الحالة لتنقية الفيديو من المطر

تتعرض أنظمة الرؤية الخارجية بشكل متكرر للتلوث بسبب خطوط المطر وقطرات المطر، مما يؤدي إلى تدهور كبير في أداء المهام البصرية والتطبيقات المتعددة الوسائط. تظهر طبيعة الفيديوهات مؤشرات زمنية مكررة تساعد على إزالة المطر بمستوى أعلى من الاستقرار. تعتمد الطرق التقليدية لإزالة المطر من الفيديوهات بشكل كبير على تقدير التدفق البصري والأساليب القائمة على النواة، والتي لديها مجال استقبال محدود. ومع ذلك، فإن هياكل الترانسفورمر، رغم تمكينها للارتباطات طويلة الأجل، تسبب زيادة كبيرة في التعقيد الحسابي. حديثًا، سهلت عملية التشغيل ذات التعقيد الخطي لنموذج المساحة الحالة (SSMs) النمذجة الزمنية طويلة الأجل بكفاءة، وهي أمر حاسم لإزالة خطوط المطر وقطرات المطر من الفيديوهات. غير أنه وبشكل غير متوقع، فإن عملية التسلسل الأحادية البعد لهذه العملية على الفيديوهات تدمر الارتباطات المحلية عبر البُعد الزماني والمكاني عن طريق تباعد البيكسلات المجاورة. لمعالجة هذا الأمر، نقدم شبكة فيديو محسنة لإزالة المطر تستند إلى نموذج المساحة الحالة (RainMamba) مع آلية فحص هيلبرت جديدة لالتقاط المعلومات المحلية على مستوى التسلسل بشكل أفضل. كما نقدم استراتيجية تعلم محلي ديناميكي مرشدة بالاختلاف لتعزيز قدرة الشبكة المقترحة على تعلم الشبه الذاتي على مستوى القطع. أثبتت التجارب الواسعة على أربع مجموعات بيانات مركبة لإزالة المطر من الفيديوهات وعلى مقاطع فيديو حقيقية تحتوي على المطر فعالية وكفاءة شبكتنا في إزالة خطوط المطر وقطرات المطر. يمكن الوصول إلى شفرتنا وأبحاثنا عبر الرابط: https://github.com/TonyHongtaoWu/RainMamba.