HyperAIHyperAI

Command Palette

Search for a command to run...

تعلم التكيف المكاني والتماسك الزمني في نماذج الانتشار لتحسين دقة الفيديو

Zhikai Chen; Fuchen Long; Zhaofan Qiu; Ting Yao; Wengang Zhou; Jiebo Luo; Tao Mei

الملخص

تُعد نماذج الانتشار في نقطة تحول حاسمة لمهام زيادة دقة الصور. ومع ذلك، فإن الاستفادة من نماذج الانتشار لزيادة دقة الفيديو ليست أمرًا بسيطًا، حيث تتطلب هذه المهمة ليس فقط الحفاظ على المظهر البصري من الفيديوهات ذات الدقة المنخفضة إلى الفيديوهات ذات الدقة العالية، بل أيضًا التماسك الزمني عبر إطارات الفيديو. في هذا البحث، نقترح منهجية جديدة تسعى لتحقيق التكيف المكاني والتماسك الزمني (SATeCo) لزيادة دقة الفيديو. يركز SATeCo على تعلم الإرشاد المكاني-الزماني من الفيديوهات ذات الدقة المنخفضة لضبط كلٍ من تنقية الفيديو ذو الدقة العالية في فضاء الكامنة واعادة بناء الفيديو في فضاء البكسل. تقنيًا، يقوم SATeCo بتجميد جميع معلمات UNet وVAE المدربة مسبقًا ويقوم فقط بتحسين مودولي التكيف المكاني للخصائص (SFA) والتوافق الزمني للخصائص (TFA)، الموجودين في مرحلة فك التشفير لكلٍ من UNet وVAE. يعدل SFA خصائص الإطار عبر تقدير معاملات الافين بشكل متكيف لكل بكسل، مما يضمن الإرشاد البكسلي لتركيب الإطارات ذات الدقة العالية. أما TFA فيغوص في التفاعل بين الخصائص داخل نافذة محلية ثلاثية الأبعاد (Tubelet) عبر انتباه الذات، ويقوم بالانتباه المتقاطع بين النافذة المحلية الثلاثية الأبعاد وإطارها ذو الدقة المنخفضة المقابل لتوجيه التوافق الزمني للخصائص. أثبتت التجارب الواسعة التي أجريت على قاعدة بيانات REDS4 وVid4 فعالية منهجيتنا المقترحة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp