التعلم النصفي المُحوَّل لإزالة المطر من الصور

إزالة المطر من الصورة الواحدة هي مشكلة عكسية نموذجية في رؤية الحاسوب. وقد أثبتت تقنية التعلم العميق فعاليتها في هذه المهمة وحققت أفضل الأداء حتى الآن. ومع ذلك، فإن الطرق السابقة للتعلم العميق تتطلب جمع مجموعة كبيرة مسبقًا من زوجات الصور مع أو بدون مطر مصنّع للتدريب، مما يميل إلى جعل الشبكة العصبية تتحيز نحو تعلم الأنماط الخاصة بالمطر المصنّع، بينما تكون أقل قدرة على التعميم إلى عينات الاختبار الحقيقية التي تختلف أنواع أمطارها عن تلك الموجودة في بيانات التدريب. لمعالجة هذه المسألة، يقترح هذا البحث أولًا نموذج تعلم شبه إشرافي لهذه المهمة. بخلاف الأساليب التقليدية للتعلم العميق التي تستعمل فقط زوجات الصور الإشرافية مع أو بدون مطر مصنّع، نقوم بإدخال صور حقيقية تمطر دون الحاجة إلى صورها النظيفة في عملية تدريب الشبكة. يتم تحقيق هذا من خلال صياغة الدالة الباقية بين صورة المدخل الممطرة والخرج المتوقع للشبكة (صورة واضحة بدون مطر) كتوزيع خاص ومُараметر للمقاطع المطرية. وبالتالي، يتم تدريب الشبكة على التكيف مع أنواع مختلفة ومتنوعة من الأمطار الحقيقية غير الإشرافية من خلال الانتقال من الأمطار المصنعة الإشرافية، وبذلك يمكن تخفيف مشكلتي نقص عينات التدريب والتحيز نحو العينات الإشرافية بشكل واضح. وقد أثبتت التجارب على البيانات المصطنعة والحقيقية تفوق نموذجنا مقارنة بأفضل ما هو موجود حاليًا (state-of-the-arts).