شبكة التكامل المحلي-العالمي لتحسين دقة الفيديو

الهدف من تقنية تحسين دقة الفيديو هو معالجة مشكلة استعادة مقاطع الفيديو عالية الدقة (HR) من مقاطع منخفضة الدقة (LR) بشكل فعّال. في الطرق السابقة، تم استخدام التدفق البصري (optical flow) بشكل شائع لإجراء محاذاة الإطارات، وتم تصميم إطار عمل من منظور فرقي وزماني. ومع ذلك، من السهل حدوث تقدير غير دقيق للتدفق البصري، مما يؤدي إلى نتائج استعادة ضعيفة. بالإضافة إلى ذلك، لا يزال التحدي المتمثل في دمج الخصائص المختلفة لعدد من إطارات الفيديو بشكل فعّال يشكل مشكلة صعبة. في هذا البحث، نقترح شبكة تُسمى "الشبكة التلافيفية المحلية-العامة" (LGFN) لحل هذه المشكلات من منظور جديد. بدلًا من التدفق البصري، نستخدم التباينات المُتعددة التباعد (deformable convolutions) مع وحدات تباين متعددة التباعد المُقلّلة (DMDCUs) لتحقيق محاذاة ضمنية فعّالة. علاوة على ذلك، نقترح هيكلًا يحتوي على فرعين، يتضمن وحدة التلافيف المحلية (LFM) ووحدة التلافيف العالمية (GFM)، بهدف دمج المعلومات من جوانب مختلفة. وبشكل خاص، تركز LFM على العلاقة بين الإطارات المجاورة وتحافظ على الاتساق الزمني، بينما تحاول GFM الاستفادة من جميع الخصائص المرتبطة بشكل عالمي من خلال استراتيجية إعادة ترتيب الفيديو (video shuffle). وبفضل الشبكة المتقدمة التي قمنا بتطويرها، أظهرت النتائج التجريبية على عدة مجموعات بيانات أن LGFN لا تحقق أداءً مُقارنًا مع أحدث الطرق، بل تمتلك أيضًا قدرة موثوقة على استعادة مجموعة متنوعة من إطارات الفيديو. تُعرض النتائج على مجموعات بيانات المعيار (benchmark datasets) الخاصة بـ LGFN على الرابط: https://github.com/BIOINSu/LGFN، وسيتم إصدار الشفرة المصدرية فور قبول المقالة.