نموذج أساسي بسيط لإعادة تشكيل الفيديو باستخدام الانزلاق المجموعات المكانية-الزمنية

إن استرجاع الفيديو، الذي يهدف إلى استعادة الإطارات الواضحة من مقاطع فيديو معطوبة، يمتلك تطبيقات مهمة عديدة. يكمن المفتاح لاسترجاع الفيديو في استغلال المعلومات بين الإطارات. ومع ذلك، فإن الطرق الحديثة القائمة على التعلم العميق تعتمد غالبًا على هياكل شبكات معقدة، مثل تقدير التدفق البصري، والانعكاس المُتَعَدِّل، وطبقات الانتباه الذاتي عبر الإطارات، ما يؤدي إلى تكاليف حسابية عالية. في هذه الدراسة، نقترح إطارًا بسيطًا ولكن فعّالًا لاسترجاع الفيديو. يعتمد نهجنا على التحويل المكاني-الزمني المُجمَّع، وهي تقنية خفيفة الوزن وسهلة التنفيذ، يمكنها التقاط العلاقات بين الإطارات بشكل غير مباشر لجمع المعلومات من عدة إطارات. من خلال إدخال التحويل المكاني المُجمَّع، نحقق مجالات استقبال فعالة واسعة. وبالجمع مع التحويل ثنائي الأبعاد الأساسي، يمكن لهذا الإطار البسيط جمع المعلومات بين الإطارات بشكل فعّال. أظهرت التجارب الواسعة أن إطارنا يتفوّق على أفضل طريقة سابقة، مع استخدام أقل من ربع التكلفة الحسابية لها، في مهام استرجاع الفيديو من الضبابية وتنظيف الضوضاء. تشير هذه النتائج إلى الإمكانات الكبيرة لنهجنا في تقليل التكاليف الحسابية بشكل كبير مع الحفاظ على جودة عالية. يمكن الوصول إلى الكود عبر الرابط: https://github.com/dasongli1/Shift-Net.