تحسين جودة الإطار المتعدد للفيديو المضغوط

شهدت السنوات القليلة الماضية نجاحًا كبيرًا في تطبيق التعلم العميق لتحسين جودة الصور والفيديوهات المضغوطة. تركز الأساليب الحالية بشكل أساسي على تحسين جودة الإطار الفردي، مما يؤدي إلى إغفال التشابه بين الإطارات المتتالية. في هذا البحث، ندرس أن هناك تقلبات كبيرة في الجودة عبر إطارات الفيديو المضغوط، وبالتالي يمكن تعزيز الإطارات ذات الجودة المنخفضة باستخدام الإطارات المجاورة ذات الجودة العالية، وهو ما يعرف بتعزيز الجودة متعدد الإطارات (Multi-Frame Quality Enhancement - MFQE). وفقًا لذلك، يقترح هذا البحث أسلوب MFQE للفيديو المضغوط كأول محاولة في هذا الاتجاه. في أسلوبنا، قمنا أولًا بتطوير كاشف يعتمد على آلة المتجهات الداعمة (Support Vector Machine - SVM) لتحديد مواقع الإطارات ذروة الجودة (Peak Quality Frames - PQFs) في الفيديو المضغوط. ثم تم تصميم شبكة عصبية متعددة الإطارات جديدة (Multi-Frame Convolutional Neural Network - MF-CNN) لتحسين جودة الفيديو المضغوط، حيث يتم استخدام الإطار غير ذروة الجودة (non-PQF) وأقرب إطاراتين له من ذروة الجودة كمدخلات. تقوم الشبكة الفرعية للتعويض عن الحركة (Motion Compensation subnet - MC-subnet) بتعويض الحركة بين الإطار غير ذروة الجودة والإطارات ذروة الجودة. بعد ذلك، تعمل الشبكة الفرعية لتعزيز الجودة (Quality Enhancement subnet - QE-subnet) على تقليل تشوهات الضغط في الإطار غير ذروة الجودة مع المساعدة من أقرب إطاراته من ذروة الجودة. أخيرًا، تؤكد التجارب فعالية وموضوعية أسلوبنا MFQE في تقدم تقنيات تعزيز جودة الفيديو المضغوط الحديثة. يمكن الوصول إلى رمز البرمجيات الخاص بأسلوبنا MFQE من خلال الرابط: https://github.com/ryangBUAA/MFQE.git