تعلم متغير التردد الزماني المكاني لتحسين دقة الفيديو من جودة منخفضة

تهدف التحسين الفائق للصورة (VSR) إلى استعادة مقاطع الفيديو عالية الدقة (HR) من مقاطع الفيديو منخفضة الدقة (LR). عادةً، تقوم الطرق الحالية لـ VSR بإعادة بناء الإطارات عالية الدقة من خلال استخراج النسيج المرتبط من الإطارات المجاورة، مع افتراض معرفة بعمليات التدهور المعروفة. وعلى الرغم من التقدم الكبير المحرز، تظل هناك تحديات كبيرة في استخراج ونقل نسيج عالي الجودة من تسلسلات فيديو منخفضة الجودة ذات تدهور شديد، مثل التشويش، والضوضاء الإضافية، وآثار التضمين. في هذه الدراسة، نُقدّم طريقة جديدة تُسمى "مُحَوِّل الترددات" (FTVSR) للتعامل مع مقاطع الفيديو منخفضة الجودة، من خلال تطبيق الانتباه الذاتي في فضاء مدمج يشمل الزمن والمكان والتردد. أولاً، تُقسم إطارات الفيديو إلى لوحات (patches)، ثم يُحوَّل كل لوحة إلى خرائط طيفية (spectral maps)، حيث تمثل كل قناة نطاق تردديًا. وهذا يسمح بتطبيق انتباه ذاتي دقيق على كل نطاق ترددي، مما يمكّن من التمييز بين النسيج البصري الحقيقي وآثار التدهور. ثانيًا، نقترح آلية جديدة تُسمى "الانتباه الترددي المزدوج" (DFA)، التي تُمكّن من التقاط العلاقات الترددية العالمية والمحليّة، مما يسمح بالتعامل مع عمليات تدهور معقدة مختلفة في السياقات الواقعية. ثالثًا، نستعرض مختلف أساليب الانتباه الذاتي لمعالجة الفيديو في الفضاء الترددي، ونكتشف أن نموذج "الانتباه المنفصل" (divided attention)، الذي يطبّق انتباهًا مدمجًا بين الفضاء والتردد أولاً، ثم يُطبّق انتباهًا زمنيًا-تردديًا بعدها، يحقق أفضل جودة في تحسين الفيديو. أظهرت تجارب واسعة على ثلاث مجموعات بيانات شهيرة لـ VSR أن FTVSR يتفوق على أحدث الطرق المطورة في تحسين مقاطع الفيديو منخفضة الجودة، بفارق بصري واضح. يمكن الوصول إلى الكود والنموذج المدرب مسبقًا من خلال الرابط التالي: https://github.com/researchmm/FTVSR.