تعلم التكيف المكاني والتماسك الزمني في نماذج الانتشار لتحسين دقة الفيديو

تُعد نماذج الانتشار في نقطة تحول حاسمة لمهام زيادة دقة الصور. ومع ذلك، فإن الاستفادة من نماذج الانتشار لزيادة دقة الفيديو ليست أمرًا بسيطًا، حيث تتطلب هذه المهمة ليس فقط الحفاظ على المظهر البصري من الفيديوهات ذات الدقة المنخفضة إلى الفيديوهات ذات الدقة العالية، بل أيضًا التماسك الزمني عبر إطارات الفيديو. في هذا البحث، نقترح منهجية جديدة تسعى لتحقيق التكيف المكاني والتماسك الزمني (SATeCo) لزيادة دقة الفيديو. يركز SATeCo على تعلم الإرشاد المكاني-الزماني من الفيديوهات ذات الدقة المنخفضة لضبط كلٍ من تنقية الفيديو ذو الدقة العالية في فضاء الكامنة واعادة بناء الفيديو في فضاء البكسل. تقنيًا، يقوم SATeCo بتجميد جميع معلمات UNet وVAE المدربة مسبقًا ويقوم فقط بتحسين مودولي التكيف المكاني للخصائص (SFA) والتوافق الزمني للخصائص (TFA)، الموجودين في مرحلة فك التشفير لكلٍ من UNet وVAE. يعدل SFA خصائص الإطار عبر تقدير معاملات الافين بشكل متكيف لكل بكسل، مما يضمن الإرشاد البكسلي لتركيب الإطارات ذات الدقة العالية. أما TFA فيغوص في التفاعل بين الخصائص داخل نافذة محلية ثلاثية الأبعاد (Tubelet) عبر انتباه الذات، ويقوم بالانتباه المتقاطع بين النافذة المحلية الثلاثية الأبعاد وإطارها ذو الدقة المنخفضة المقابل لتوجيه التوافق الزمني للخصائص. أثبتت التجارب الواسعة التي أجريت على قاعدة بيانات REDS4 وVid4 فعالية منهجيتنا المقترحة.