التنقيط بين الإطارات الفيديوية من خلال التفاف منفصل متكيف

تقوم الطرق التقليدية للاستيفاء بين الإطارات الفيديو أولاً بتقدير التدفق البصري بين الإطارات المدخلة ثم توليد إطار وسيط موجه بالحركة. أما الأساليب الحديثة فتدمج هذين الخطوتين في عملية تجميع واحدة من خلال تجميع الإطارات المدخلة باستخدام نوى متكيفة مكانياً التي تأخذ بعين الاعتبار الحركة وإعادة التسجيل في آن واحد. تتطلب هذه الطرق نوى كبيرة للتعامل مع حركات كبيرة، مما يحد من عدد البكسلات التي يمكن تقدير نواتها دفعة واحدة بسبب الحاجة إلى ذاكرة كبيرة. لحل هذه المشكلة، يقترح هذا البحث صياغة الاستيفاء بين الإطارات كعملية تجميع قابلة للانفصال محلياً على الإطارات المدخلة باستخدام أزواج من النوى ذات البعد الواحد (1D). مقارنة بالنوى ثنائية الأبعاد (2D) العادية، فإن النوى ذات البعد الواحد تحتاج إلى تقدير عدد أقل بكثير من المعلمات. طورت طريقتنا شبكة عصبية عميقة بالكامل قائمة على التجميع تستقبل إطاراتين مدخلتين وتقدر أزواج النوى ذات البعد الواحد لكل بكسلاتهما بشكل متزامن. بما أن طريقتنا قادرة على تقدير النوى وتوليد الإطار الفيديو بأكمله دفعة واحدة، فإنها تسمح بدمج الخسارة الحسية لتدريب الشبكة العصبية على إنتاج إطارات جذابة بصرياً. يتم تدريب هذه الشبكة العصبية العميقة من البداية إلى النهاية باستخدام بيانات الفيديو المتاحة على نطاق واسع دون أي تعليق بشري. أظهرت التجارب النوعية والكمية أن طريقتنا توفر حلاً عملياً للاستيفاء عالي الجودة بين إطارات الفيديو.