مُحَوِّلٌ مُتَعَمِّقٌ فَضَائِيٌّ زَمَنِيٌّ نَادِرٌ مُتَوَقِّعٌ لِلْغَمْضِ لِلْفِيدِيُوهَاتِ

يُعتمد توضيح الفيديو (video deblurring) على استغلال المعلومات من الإطارات الأخرى في تسلسل الفيديو لإعادة بناء المناطق الضبابية في الإطار الحالي. تعتمد الأساليب الشائعة على انتقال الميزات ثنائي الاتجاه (bidirectional feature propagation)، أو المحولات الزمكانية (spatio-temporal transformers)، أو مزيج من كليهما لاستخراج المعلومات من تسلسل الفيديو. ومع ذلك، فإن القيود الناتجة عن محدودية الذاكرة والموارد الحسابية تحد من طول النافذة الزمنية التي يمكن أن تُستخدم في المحولات الزمكانية، مما يمنع استخلاص معلومات سياقية زمنية أطول من تسلسل الفيديو. بالإضافة إلى ذلك، فإن انتقال الميزات ثنائي الاتجاه حساس جدًا لتدفق البصريات (optical flow) غير الدقيق في الإطارات الضبابية، ما يؤدي إلى تراكم الأخطاء أثناء عملية الانتقال. ولحل هذه المشكلات، نقترح شبكة BSSTNet، أي شبكة المحول الزمكاني النادر المُدرك للضبابية (Blur-aware Spatio-temporal Sparse Transformer Network). تُقدِّم هذه الشبكة خ carte الضبابية (blur map)، التي تقوم بتحويل الانتباه الكثيف الأصلي إلى شكل نادر (sparse)، مما يمكّن من استغلال أعمق للمعلومات عبر كامل تسلسل الفيديو. وبشكل محدد، تتميز BSSTNet بـ (1) استخدام نافذة زمنية أطول في المحول، مما يتيح الاستفادة من معلومات من إطارات بعيدة لاستعادة النقاط الضبابية في الإطار الحالي. (2) إدخال انتقال ميزات ثنائي الاتجاه يُرشد بواسطة خ carte الضبابية، مما يقلل من تراكم الأخطاء الناتجة عن الإطارات الضبابية. وأظهرت النتائج التجريبية أن BSSTNet تتفوّق على أحدث الطرق المُعتمدة في مجموعتي بيانات GoPro وDVD.