إزالة الضبابية من الفيديو العميق للكاميرات اليدوية

الضبابية الناتجة عن حركة الكاميرا هي مشكلة رئيسية في الفيديوهات التي تُلتقط بواسطة أجهزة محمولة. على عكس تحسين الصورة الواحدة من الضبابية، يمكن للنهج القائمة على الفيديو الاستفادة من المعلومات الوافرة الموجودة بين الإطارات المجاورة. ونتيجة لذلك، تعتمد أفضل الطرق على محاذاة الإطارات القريبة. ومع ذلك، فإن محاذاة الصور عملية مكلفة من حيث الحوسبة وقابلة للانهيار، وبالتالي يجب أن تكون الطرق التي تجمع المعلومات قادرة على تحديد المناطق التي تم محاذاة صورها بدقة، والمناطق التي لم تُحَوَّل بدقة، وهي مهمة تتطلب فهمًا عالي المستوى للمشهد. في هذا العمل، نقدّم حلًا قائماً على التعلم العميق لتحسين الفيديو من الضبابية، حيث يتم تدريب شبكة عصبية متعددة الطبقات (CNN) بشكل متكامل (end-to-end) لتعلم كيفية تجميع المعلومات عبر الإطارات. ولتدريب هذه الشبكة، جمعنا مجموعة بيانات من مقاطع فيديو حقيقية تم تسجيلها باستخدام كاميرا ذات معدل إطارات عالي، ونستخدمها لتكوين ضبابية حركة اصطناعية لتوفير الإشراف. ونُظهر أن الميزات التي تم تعلمها من هذه المجموعة تُمتد لتحسين الضبابية الناتجة عن حركة الكاميرا في مجموعة واسعة من مقاطع الفيديو، ونقارن جودة النتائج مع عدد من الطرق الأخرى المعيارية.