شبكة متعددة الأقسام المتراكمة ذات التسلسل الهرمي العميقة لإزالة التشويش من الصور

رغم أن طرق التعلم العميق من النهاية إلى النهاية أظهرت تفوقها في إزالة التشويش الحركي غير المتجانس، إلا أنه لا يزال هناك تحديات رئيسية مع النماذج متعددة المقاييس والمتكررة حسب المقاييس الحالية: 1) عمليات الإعادة للتشويش/التكبير في مخطط الخشن إلى الدقيق تؤدي إلى وقت تشغيل باهظ الثمن؛ 2) زيادة عمق النموذج ببساطة عبر مستويات المقاييس الأدق لا يمكن أن تحسن جودة إزالة التشويش. لمعالجة هذه المشكلات، نقدم شبكة متعددة القطع هرمية عميقة مستوحاة من تقنية التوافق الهرمي المكاني (Spatial Pyramid Matching) لإزالة التشويش من الصور عبر تمثيل هرمي دقيق إلى خشن. لمعالجة تشبع الأداء بالنسبة للعمق، نقترح نسخة متراكمة من نموذجنا متعدد القطع. يحقق النموذج الأساسي المتعدد القطع المقترح أداءً رائدًا على مجموعة بيانات GoPro مع الاستمتاع بسرعة تشغيل أسرع 40 مرة مقارنة بالطرق متعددة المقاييس الحالية. ومع معالجة صورة بدقة 1280x720 في غضون 30 ملisecond، فهو أول نموذج عميق يعمل في الوقت الحقيقي لإزالة التشويش الحركي للصور بدقة 720p بمعدل 30 إطارًا في الثانية. بالنسبة للشبكات المتراكمة، يتم تحقيق تحسينات كبيرة (أكثر من 1.2 ديسيبل) على مجموعة بيانات GoPro عن طريق زيادة عمق الشبكة. بالإضافة إلى ذلك، يمكن تعديل أداء وسرعة تشغيل نفس الشبكة لمختلف السيناريوهات التطبيقية بتغيير عمق النموذج المتراكم.