الزيادة في دقة الصور والفيديوهات الفردية في الوقت الحقيقي باستخدام شبكة عصبية مت convoledة فعالة للبكسل الفرعي

في الآونة الأخيرة، حققت عدة نماذج تعتمد على الشبكات العصبية العميقة نجاحًا كبيرًا من حيث دقة إعادة الإنشاء والأداء الحاسوبي في تحسين دقة الصورة الفردية. في هذه الطرق، يتم توسيع نطاق الصورة ذات الدقة المنخفضة (LR) إلى فضاء الدقة العالية (HR) باستخدام مرشح واحد، غالبًا ما يكون التداخل البيكوزي (bicubic interpolation)، قبل إعادة الإنشاء. وهذا يعني أن عملية تحسين الدقة (SR) تتم في فضاء HR. نوضح في هذا البحث أن هذا الأسلوب غير مثالي ويضيف تعقيدًا حاسوبيًا. في هذا المقال، نقدم أول شبكة عصبية ارتباطية (CNN) قادرة على تحسين دقة الفيديوهات بدقة 1080p بشكل فعلي في الوقت الحقيقي على وحدة معالجة الرسومات K2 الواحدة. لتحقيق ذلك، نقترح هندسة شبكة عصبية ارتباطية جديدة حيث يتم استخراج الخرائط المميزة في فضاء LR. بالإضافة إلى ذلك، نقدم طبقة ارتباط جزئي كفاءة عالية تتعلم مجموعة من مرشحات التوسيع لتوسيع الخرائط المميزة النهائية ذات الدقة المنخفضة إلى الإخراج ذي الدقة العالية. بهذه الطريقة، نحل محل المرشح البيكوزي الذي تم تصميمه يدويًا في خط أنابيب SR بمرشحات توسيع أكثر تعقيدًا تم تدريبها لكل خريطة مميزة، مع الحفاظ أيضًا على تقليل التعقيد الحاسوبي لعملية SR الكلية. قمنا بتقييم النهج المقترح باستخدام صور وفيديوهات من مجموعات بيانات متاحة للجمهور ونظهر أنه يؤدي بشكل أفضل بكثير (+0.15 ديسيبل على الصور و+0.39 ديسيبل على الفيديوهات) وهو أسرع بمقدار عامل عشرة من الطرق السابقة التي تعتمد على الشبكات العصبية الارتباطية.