MCW-Net: إزالة المطر من صورة واحدة باستخدام اتصالات متعددة المستويات وكتل غير محلية إقليمية واسعة

أظهرت سلسلة من الدراسات الحديثة القائمة على الشبكات العصبية التلافيفية قدرة فعّالة على التقاط خطوط المطر. ومع ذلك، تظل الصعوبات المتعلقة بإعادة بناء التفاصيل الدقيقة قائمة. في هذا البحث، نقدم نموذجًا يُسمى MCW-Net، وهو نموذج يعتمد على الاتصال متعدد المستويات وكتلة غير محلية واسعة النطاق، بهدف استعادة نسيج الخلفية الأصلي في الصور المبللة بالمطر بشكل مناسب. على عكس النماذج الحالية القائمة على هيكل المُشفّر-المُفكّك التي تعزز الأداء من خلال إضافة فروع إضافية، فإن MCW-Net يحسن الأداء من خلال تحسين استغلال المعلومات دون الحاجة إلى إضافة فروع جديدة، وذلك من خلال طريقتين مُقترحتين. الأولى هي الاتصال متعدد المستويات، التي تقوم بتوصيل معلومات الميزات من مستويات متعددة من شبكة المُشفّر مع شبكة المُفكّك بشكل متكرر. يشجع هذا الاتصال عملية التفكيك على استخدام معلومات الميزات من جميع المستويات. كما يُؤخذ في الاعتبار انتباه حسب القناة (channel-wise attention) في هذه الطريقة، بهدف تعلّم أي مستوى من مستويات الميزات يكون أكثر أهمية في عملية التفكيك للمرحلة الحالية. أما الطريقة الثانية فهي كتلة غير محلية واسعة النطاق. وبما أن خطوط المطر تظهر بشكل رئيسي بتوزيع عمودي، فإننا نقسم شبكة الصورة إلى مساحات أفقية واسعة، ونطبق عملية غير محلية على كل منطقة لاستكشاف المعلومات الغنية المتعلقة بالخلفية الخالية من المطر. أظهرت النتائج التجريبية على مجموعتي بيانات مزيفة وواقعية أن النموذج المقترح يتفوق بشكل كبير على النماذج الحالية ذات الأداء الرائد. علاوة على ذلك، أثبتت نتائج التجربة المشتركة لإزالة المطر وعملية التجزئة أن نموذجنا يساهم بشكل فعّال في مهام الرؤية الحاسوبية الأخرى.