تنقية الفيديو متعددة المراحل الفعالة مع تكامل متكرر في الفضاء والزمن

في السنوات الأخيرة، حققت الطرق القائمة على التعلم العميق لتنظيف الفيديو أداءً غير مسبوق على حساب تعقيد حسابي كبير. في هذا العمل، نقترح خوارزمية فعّالة متعددة المراحل لتنظيف الفيديو، تُسمى EMVD، لتقليل التعقيد بشكل كبير مع الحفاظ على الأداء أو حتى تحسينه. أولاً، تُقلّل مرحلة الدمج الضوضاء من خلال تركيب تكراري لجميع الإطارات السابقة في الفيديو. ثم، تُزيل مرحلة التنقية الضوضاء من الإطار المدمج. وأخيرًا، تُعيد مرحلة التحسين الضغط الترددات العالية المفقودة في الإطار المنقّى. تعمل جميع المراحل على تمثيل في مجال التحويل، مستمدة من مشغلات خطية قابلة للتعلم وقابلة للعكس، والتي تزيد في نفس الوقت من دقة النموذج وتقلل من تعقيده. يكفي وجود دالة خسارة واحدة على المخرج النهائي لتحقيق تقارب ناجح، مما يجعل EMVD سهلة التدريب. أظهرت التجارب على بيانات خام حقيقية أن EMVD تتفوّق على أحدث التقنيات عندما يكون التعقيد محدودًا، وتكافئ حتى الطرق ذات التعقيدات التي تفوقها بعشرات أو مئات المرات. علاوةً على ذلك، تتيح الخصائص المنخفضة للتعقيد واستهلاك الذاكرة لـ EMVD تنفيذ تنقية فيديو في الوقت الفعلي على وحدات النظام المتكاملة التجارية (SoC) المستخدمة في الأجهزة المحمولة.