تعلم التمثيلات العصبية عبر الفيديوهات لاستيفاء الإطارات عالي الجودة

يُعالج هذا البحث مشكلة استيفان الفيديو الزمني، حيث يكون الهدف هو إنشاء إطار فيديو جديد بالاعتماد على إطاريه الجارين. نقترح طريقة تُسمى التمثيل العصبي عبر الفيديو (CURE) كأول طريقة لاستيفان الفيديو تعتمد على الحقول العصبية (NF). وتشير الحقول العصبية إلى فئة حديثة من الأساليب التي تُستخدم في التمثيل العصبي للمناظر ثلاثية الأبعاد المعقدة، وقد حققت نجاحًا واسع الانتشار وتطبيقات متعددة في مجال رؤية الحاسوب. يُمثّل CURE الفيديو كدالة مستمرة تُمثّل بشبكة عصبية تعتمد على الإحداثيات، حيث تكون المدخلات هي الإحداثيات المكانية والزمنية، والنتائج هي القيم RGB المقابلة. ويُقدّم CURE معمارية جديدة تُشرّع الشبكة العصبية على الإطارات المدخلة، بهدف ضمان الاتساق المكاني الزمني في الفيديو المُستَكمل. وهذا لا يُحسّن جودة الاستيفان النهائية فحسب، بل يمكّن أيضًا CURE من تعلّم سلف (prior) مشترك عبر عدة فيديوهات. وأظهرت التقييمات التجريبية أن CURE تحقق أفضل أداء ممكن في مجال استيفان الفيديو على عدة مجموعات بيانات معيارية.