الاستيفاء الزمني للإطارات الفيديو مع الوعي بالعمق

تهدف تقنية توضيب الإطارات الفيديوية إلى إنشاء إطارات غير موجودة بين الإطارات الأصلية. رغم التقدم الكبير الذي أحرزته الشبكات العصبية التلافيفية العميقة مؤخرًا، فإن جودة التوضيب غالبًا ما تنخفض بسبب حركة الأجسام الكبيرة أو الاحتشاد. في هذا البحث، نقترح طريقة لتوضيب الإطارات الفيديوية تكتشف الاحتشاد بشكل صريح من خلال استكشاف معلومات العمق. تحديدًا، قمنا بتطوير طبقة تكبير تدفق واعية للعمق لتكوين تدفقات وسيطة تفضل عينات الأجسام الأقرب على الأجسام الأبعد. بالإضافة إلى ذلك، نتعلم خصائص متعددة المستويات لجمع المعلومات السياقية من البكسلات المجاورة. ثم يقوم النموذج المقترح بتحوير الإطارات المدخلة، وخرائط العمق، والخصائص السياقية بناءً على التدفق البصري ونوى التوضيب المحلية لإنشاء الإطار الخرج. نموذجنا مدمج وكفؤ بالكامل وقابل للمفاضلة بالكامل. تظهر النتائج الكمية والنوعية أن النموذج المقترح يؤدي بشكل متفوق مقابل أفضل طرق توضيب الإطارات الحالية على مجموعة متنوعة من قواعد البيانات (datasets).