MFQE 2.0: نهج جديد لتحسين جودة الإطارات المتعددة في الفيديو المضغوط

شهدت السنوات القليلة الماضية نجاحًا كبيرًا في تطبيق التعلم العميق لتحسين جودة الصور والفيديوهات المضغوطة. تركز الأساليب الحالية بشكل أساسي على تحسين جودة الإطار الواحد، دون الأخذ بعين الاعتبار التشابه بين الإطارات المتتالية. نظرًا للتفاوت الكبير الموجود بين إطارات الفيديو المضغوط كما تم التحقيق فيه في هذه الورقة البحثية، يمكن استخدام التشابه بين الإطارات لتحسين جودة الإطارات ذات الجودة المنخفضة عند وجود إطارات مجاورة ذات جودة عالية. هذا المهم يُعرف بـ "تحسين الجودة متعدد الإطارات" (MFQE). وفقًا لذلك، تقترح هذه الورقة البحثية أسلوب MFQE للفيديو المضغوط، كأول محاولة في هذا الاتجاه. في أسلوبنا، قمنا أولًا بتطوير كاشف يعتمد على ذاكرة الشبكة العصبية طويلة المدى قصيرة المدى ثنائية الاتجاه (BiLSTM) لاكتشاف الإطارات ذات الجودة القصوى (PQFs) في الفيديو المضغوط. ثم تم تصميم شبكة عصبية متعددة الإطارات جديدة (MF-CNN) لتحسين جودة الفيديو المضغوط، حيث تكون الإطار غير PQF وأقرب إطارات PQF إليه هي المدخلات. في MF-CNN، يتم تعويض الحركة بين الإطار غير PQF والإطارات PQF بواسطة فرع التعويض عن الحركة. بعد ذلك، يقوم فرع تحسين الجودة بدمج الإطار غير PQF والإطارات PQF المعوض عنها، ومن ثم تقليل تشوهات الضغط في الإطار غير PQF. بالإضافة إلى ذلك، يتم تحسين جودة الإطارات PQF بنفس الطريقة. أخيرًا، تثبت التجارب فعالية وقدرة التعميم لأساليبنا MFQE في تقدم تقنيات تحسين الجودة الحديثة للفيديو المضغوط. يمكن الحصول على الكود من https://github.com/RyanXingQL/MFQEv2.0.git.