الاست复兴 البصري للفيديو العميق غير المرئي

تُفترض عادةً في الخوارزميات الحالية لتحسين دقة الفيديو (SR) أن نوى التشويه (blur kernels) في عملية التدهور معروفة، ولا يتم نمذجة هذه النوى أثناء عملية الاستعادة. ومع ذلك، لا ينطبق هذا الافتراض على تحسين دقة الفيديو، ويؤدي غالبًا إلى صور مُحسَّنة ذات تفاصيل مُفرطة في التمويه. في هذه الورقة، نقترح نموذجًا شبكيًا عصبيًا عميقًا قائمًا على التحويل التوافقي (CNN) لحل مشكلة تحسين دقة الفيديو من خلال نهج نمذجة نوى التشويه. يتكون النموذج العميق المقترح من وحدات لتقدير التشويه الحركي، وتقدير الحركة، واستعادة الصورة الكامنة. تُستخدم وحدة تقدير التشويه الحركي لتوفير نوى تشويه موثوقة. وباستخدام نواة التشويه المقدرة، نطوّر طريقة فك التحويل (deconvolution) تعتمد على نموذج تكوين الصورة الخاص بتحسين دقة الفيديو، بهدف إنتاج صور كامنة وسيطة، بحيث يمكن استعادة بعض محتويات الصورة الحادة بشكل جيد. ومع ذلك، قد تحتوي الصور الكامنة الوسيطة المُنتجة على تشوهات (artifacts). لضمان إنتاج صور عالية الجودة، نستخدم وحدة تقدير الحركة لاستكشاف المعلومات من الإطارات المجاورة، حيث يمكن لتقدير الحركة أن يُحدّد أو يُقيّد النموذج الشبكي العصبي العميق لتحقيق استعادة صورة أفضل. ونُظهر أن الخوارزمية المقترحة قادرة على إنتاج صور أوضح، مع تفاصيل هيكلية أدق. وتُظهر النتائج التجريبية الواسعة أن الخوارزمية المقترحة تتفوّق على الطرق المتطورة حديثًا.