HyperAIHyperAI

Command Palette

Search for a command to run...

FutureDepth: التعلم للتنبؤ بالمستقبل يحسن تقدير عمق الفيديو

Rajeev Yasarla Manish Kumar Singh Hong Cai Yunxiao Shi Jisoo Jeong Yinhao Zhu Shizhong Han Risheek Garrepalli Fatih Porikli

الملخص

في هذا البحث، نقترح نهجًا جديدًا لتقدير عمق الفيديو يُسمى FutureDepth، والذي يمكّن النموذج من الاستفادة الضمنية من الإطارات المتعددة ودلالات الحركة لتحسين تقدير العمق من خلال تعلمه التنبؤ بالمستقبل أثناء التدريب. وبشكل أكثر تحديدًا، نقترح شبكة تنبؤ المستقبل، F-Net، التي تستقبل خصائص الإطارات المتتالية المتعددة وتتدرب على التنبؤ بخصائص الإطارات المتعددة خطوة زمنية واحدة إلى الأمام بشكل متكرر. بهذه الطريقة، تتعلم F-Net المعلومات الكامنة وراء الحركة والتوافق، وندمج خصائصها في عملية فك تشفير العمق. بالإضافة إلى ذلك، للإثراء في تعلم دلالات التوافق بين الإطارات المتعددة، نستفيد أيضًا من شبكة إعادة بناء، R-Net، التي يتم تدريبها عبر ترميز ذاتي مasked بشكل متكيف للحجم المميز للإطارات المتعددة. في وقت الاستدلال، يتم استخدام كل من F-Net و R-Net لإنتاج استفسارات تعمل مع فك تشفير العمق وكذلك شبكة التحسين النهائي. من خلال التجارب الواسعة على عدة مقاييس مثل NYUDv2 و KITTI و DDAD و Sintel، والتي تغطي سيناريوهات داخلية وقيادة ومجالات مفتوحة، نظهر أن FutureDepth يحسن بشكل كبير على النماذج الأساسية ويتفوق على طرق تقدير عمق الفيديو الموجودة ويحدد دقة جديدة رائدة في المجال (SOTA). علاوة على ذلك، فإن FutureDepth أكثر كفاءة من النماذج الرائدة في المجال (SOTA) الموجودة لتقدير عمق الفيديو ولديها زمن استجابة مشابه عند المقارنة مع النماذج الأحادية العين.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp