HyperAIHyperAI

Command Palette

Search for a command to run...

التفتيت الطرفي لاستيفاء إطارات الفيديو

Simon Niklaus Feng Liu

الملخص

تم اعتماد العينة التصويرية القابلة للتفاضل على شكل تحويل عكسي (backward warping) على نطاق واسع في مهام مثل تقدير العمق وتنبؤ التدفق البصري. على النقيض من ذلك، لم تلقَ طريقة تنفيذ التحويل الأمامي (forward warping) نفس الاهتمام، جزئياً بسبب التحديات الإضافية مثل حل تعارض خريطة عدة بكسلات إلى نفس الموقع الهدف بطريقة قابلة للتفاضل. نقترح طريقة "الإسقاط باستخدام دالة الـ softmax" (softmax splatting) لمعالجة هذا التحول في النموذج، ونُظهر فعاليتها في تطبيق تداخل الإطارات (frame interpolation). وبشكل محدد، بالاعتماد على تقدير تدفق بصري، نقوم بتحويل الأمامي للإطارات المدخلة وتمثيلاتها الهرمية للسمات باستخدام طريقة الإسقاط باستخدام دالة الـ softmax. وبذلك، تُعالج طريقة الإسقاط باستخدام دالة الـ softmax بسلاسة الحالات التي تُخَرَّج فيها عدة بكسلات مصدرية إلى نفس الموقع الهدف. ثم نستخدم شبكة تركيب (synthesis network) للتنبؤ بنتيجة التداخل من التمثيلات المُحَوَّلة. تتيح لنا طريقة الإسقاط باستخدام دالة الـ softmax إمكانية تداخل الإطارات في أي وقت مُعطى، بالإضافة إلى إمكانية تحسين دقيق (fine-tune) للتمثيل الهرمي للسمات وتقدير التدفق البصري. ونُظهر أن نهجنا في التركيب، المدعوم بـ softmax splatting، يحقق نتائج جديدة من مستوى الحد الأقصى (state-of-the-art) في تداخل إطارات الفيديو.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp