EDVR: استعادة الفيديو باستخدام شبكات الت➡️حويلات المُعَوَّجَة المُحسَّنَة

تتزايد الاهتمامات بمهام استعادة الفيديو، بما في ذلك زيادة الدقة وازالة التشويش وما إلى ذلك، في مجتمع رؤية الحاسوب. تم إصدار معيار صعب يُسمى REDS في تحدي NTIRE19. يتحدى هذا المعيار الجديد الأساليب الموجودة من جهتين: (1) كيفية مواءمة الإطارات المتعددة مع الحركات الكبيرة، و(2) كيفية دمج الإطارات المختلفة بشكل فعال مع حركات وتشويش متنوعة. في هذا العمل، نقترح إطارًا جديدًا لاستعادة الفيديو مع شبكات متغيرة المعالم المعززة، والذي يُطلق عليه اسم EDVR، للتعامل مع هذه التحديات. أولاً، للتعامل مع الحركات الكبيرة، قمنا بتصميم وحدة تمواءم هرمية ومتوالية ومتغيرة المعالم (PCD)، حيث يتم تنفيذ تمواءم الإطارات على مستوى الخصائص باستخدام التفافات متغيرة المعالم بطريقة من الخشن إلى الدقيق. ثانيًا، نقترح وحدة دمج انتباه زمني ومكاني (TSA)، حيث يتم تطبيق الانتباه كلاً من الزمني والمكاني لتعزيز الخصائص الهامة للإصلاح اللاحق. بفضل هذه الوحدات، حقق نظامنا EDVR المركز الأول وأظهر تفوقًا كبيرًا على المركز الثاني في جميع المسارات الأربعة في تحديات استعادة الفيديو وتقويته في NTIRE19. كما أثبت EDVR أداءً أفضل من الأساليب المنشورة الأكثر تقدمًا في مجال زيادة دقة الفيديو وإزالة تشويشه. يمكن الوصول إلى الرمز البرمجي عبر الرابط: https://github.com/xinntao/EDVR.