استكشاف الغموض الحركي والمحاذاة لتحسين تداخل الإطارات الفيديو عالي الجودة

بالنسبة لاستيفاء الإطارات في الفيديو (VFI)، تعتمد الطرق القائمة على التعلم العميق حاليًا بشكل كبير على الإطارات المتوسطة الحقيقية (GT)، والتي قد تتجاهل في بعض الأحيان الطبيعة غير الفريدة للحركة الناتجة عن الإطارات المجاورة المعطاة. نتيجة لذلك، تميل هذه الطرق إلى إنتاج حلول متوسطة تكون غير واضحة بما يكفي. ولتخفيف هذه المشكلة، نقترح تقليل الطلب المطلوب لإعادة بناء الإطار المتوسط بحيث يكون قريبًا قدر الإمكان من الإطار الحقيقي. وبهذا الاتجاه، نطور خسارة اتساق النسيج (TCL) بافتراض أن المحتوى المستيفَى يجب أن يحافظ على هيكل مشابه لمعطياته في الإطارات المعطاة. وتشجع التنبؤات التي تحقق هذا الشرط، حتى لو اختلفت عن GT المحددة مسبقًا. وبلا أي إضافات معقدة، يمكن لـ TCL القابلة للتركيب والتشغيل الفوري (plug-and-play) تحسين أداء الإطارات الحالية في VFI. من ناحية أخرى، غالبًا ما تستخدم الطرق السابقة حجم التكلفة أو خريطة الارتباط لتحقيق تشويه أكثر دقة للصورة/الميزة. لكن التعقيد الحسابي O(N²) (حيث تشير N إلى عدد البكسل) يجعل هذا الأمر غير عملي في الحالات ذات الدقة العالية. في هذه الدراسة، نصمم وحدة تطابق هرمية عبر المقياس (CSPA) بسيطة وفعالة (O(N)) ولكنها قوية، حيث يتم استغلال المعلومات متعددة المقياس بشكل مكثف. وتدعم التجارب الواسعة الكفاءة والفعالية الاستراتيجية المقترحة.