متغير الفيديو المستعاد المتكرر مع انتباه قابل للتشويه بارشاد

يهدف استعادة الفيديو إلى استخراج عدة إطارات عالية الجودة من عدة إطارات منخفضة الجودة. تقع الطرق الحالية لاستعادة الفيديو عادةً في حالتين متطرفتين، أي أنها إما تستعيد جميع الإطارات بالتوازي أو تستعيدها إطارًا بإطار بطريقة متكررة، مما يؤدي إلى مزايا وعيوب مختلفة. بشكل عام، يتمتع النهج الأول بميزة دمج المعلومات الزمنية. ومع ذلك، يعاني من حجم نموذج كبير واستهلاك ذاكرة مكثف؛ أما النهج الثاني فيتميز بحجم نموذج أصغر نسبيًا لأنه يشترك في المعلمات بين الإطارات؛ ومع ذلك، يفتقر إلى قدرة النمذجة على الارتباطات طويلة المدى وإمكانية التوازي. في هذا البحث، نحاول دمج مزايا الحالتين من خلال اقتراح محول استعادة الفيديو المتكرر (RVRT). يقوم RVRT بمعالجة الإطارات المجاورة محليًا بالتوازي ضمن إطار عالمي متكرر يمكن أن يحقق توازنًا جيدًا بين حجم النموذج والفعالية والكفاءة. وبشكل خاص، يقوم RVRT بتقسيم الفيديو إلى عدة مقاطع ويستخدم الخصائص المستنتجة للمقطع السابق لتقدير خصائص المقطع التالي. داخل كل مقطع، يتم تحديث الخصائص الإطارية المختلفة مع تجميع الخصائص الضمني. عبر المقاطع المختلفة، تم تصميم الانتباه المرن المنضبط للمحاذاة بين المقاطع، حيث يتوقع مواقع ذات صلة متعددة من المقطع المستنتج بأكمله ويجمع خصائصها بواسطة آلية الانتباه. أظهرت التجارب الواسعة على زيادة دقة الفيديو وإزالة الغموض والتقليل من الضوضاء أن المحول RVRT المقترح حقق أداءً رائدًا على مجموعة بيانات الاختبار مع حجم نموذج متوازن وذاكرة اختبار وكفاءة وقت التشغيل.