HyperAIHyperAI

Command Palette

Search for a command to run...

Super SloMo: تقدير عالي الجودة لعدة إطارات وسطى للتقدير بين الإطارات في الفيديو

Huaizu Jiang; Deqing Sun; Varun Jampani; Ming-Hsuan Yang; Erik Learned-Miller; Jan Kautz

الملخص

بما أن لدينا إطارين متتاليين، فإن هدف تقنية تكميم الفيديو هو إنشاء إطار(أطر) وسيط لتشكيل سلاسل فيديو متماسكة فضائيًا وزمانيًا. بينما تركز معظم الطرق الحالية على تكميم الإطار الواحد، نقترح شبكة عصبية انتقالية كاملة للقيام بتكميم الفيديو متعدد الأطر بطول متغير، حيث يتم نمذجة تفسير الحركة وتقدير الاخفاء بشكل مشترك. نبدأ بحساب التدفق البصري الثنائي الاتجاه بين الصور المدخلة باستخدام بنية U-Net. ثم يتم دمج هذه التدفقات بشكل خطي في كل خطوة زمنية لتقريب التدفقات البصرية الثنائية الوسيطة. ومع ذلك، تعمل هذه التدفقات التقريبية بشكل جيد فقط في المناطق المحلية الناعمة وتنتج تشوهات حول حدود الحركة. لمعالجة هذا القصور، نستخدم U-Net آخر لتحسين التدفق التقريبي وتوقع خرائط الرؤية الناعمة. أخيرًا، يتم تحريف الصورتين المدخلتين ودمجهما بشكل خطي لإنشاء كل إطار وسيط. من خلال تطبيق خرائط الرؤية على الصور المحورة قبل الدمج، نستبعد مساهمة البيكسلات المخفية في الإطار الوسيط المتداخل لتجنب التشوهات. بما أن لا يوجد أي من معاملات الشبكة التي تم تعلمها يعتمد على الزمن، فإن طرحنا قادر على إنتاج عدد غير محدود من الأطر الوسيطة حسب الحاجة. نقوم باستخدام 1,132 مقطع فيديو بتردد 240 إطارًا في الثانية، تحتوي على 300 ألف إطار فيديو فردي، لتدريب شبكتنا. تظهر النتائج التجريبية على عدة قواعد بيانات، عند التنبؤ بعدد مختلف من الأطر المتداخلة، أن طرحنا يؤدي بشكل أفضل بكثير من الطرق الموجودة حاليًا.请注意,这里“soft visibility maps”被翻译为“خرائط الرؤية الناعمة”,这是根据上下文对术语的一种解释性翻译。如果需要更专业的术语,可以将其翻译为“خرائط الرؤية اللينة”(خريطة الرؤية اللينة)并在括号中标注原文。


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
Super SloMo: تقدير عالي الجودة لعدة إطارات وسطى للتقدير بين الإطارات في الفيديو | مستندات | HyperAI