FutureDepth: التعلم للتنبؤ بالمستقبل يحسن تقدير عمق الفيديو

في هذا البحث، نقترح نهجًا جديدًا لتقدير عمق الفيديو يُسمى FutureDepth، والذي يمكّن النموذج من الاستفادة الضمنية من الإطارات المتعددة ودلالات الحركة لتحسين تقدير العمق من خلال تعلمه التنبؤ بالمستقبل أثناء التدريب. وبشكل أكثر تحديدًا، نقترح شبكة تنبؤ المستقبل، F-Net، التي تستقبل خصائص الإطارات المتتالية المتعددة وتتدرب على التنبؤ بخصائص الإطارات المتعددة خطوة زمنية واحدة إلى الأمام بشكل متكرر. بهذه الطريقة، تتعلم F-Net المعلومات الكامنة وراء الحركة والتوافق، وندمج خصائصها في عملية فك تشفير العمق. بالإضافة إلى ذلك، للإثراء في تعلم دلالات التوافق بين الإطارات المتعددة، نستفيد أيضًا من شبكة إعادة بناء، R-Net، التي يتم تدريبها عبر ترميز ذاتي مasked بشكل متكيف للحجم المميز للإطارات المتعددة. في وقت الاستدلال، يتم استخدام كل من F-Net و R-Net لإنتاج استفسارات تعمل مع فك تشفير العمق وكذلك شبكة التحسين النهائي. من خلال التجارب الواسعة على عدة مقاييس مثل NYUDv2 و KITTI و DDAD و Sintel، والتي تغطي سيناريوهات داخلية وقيادة ومجالات مفتوحة، نظهر أن FutureDepth يحسن بشكل كبير على النماذج الأساسية ويتفوق على طرق تقدير عمق الفيديو الموجودة ويحدد دقة جديدة رائدة في المجال (SOTA). علاوة على ذلك، فإن FutureDepth أكثر كفاءة من النماذج الرائدة في المجال (SOTA) الموجودة لتقدير عمق الفيديو ولديها زمن استجابة مشابه عند المقارنة مع النماذج الأحادية العين.