الفيديو العميق لإعادة الرسم

يهدف ترميم الفيديو إلى ملء الثغرات المكانية والزمنية بمضمون معقول في الفيديو. على الرغم من التقدم الهائل الذي أحرزته الشبكات العصبية العميقة في مجال ترميم الصور، فإن توسيع هذه الطرق لتشمل مجال الفيديو يظل تحديًا بسبب البعد الزمني الإضافي. في هذا العمل، نقترح هندسة شبكة عميقة جديدة للترميم السريع للفيديو. تستند شبكتنا على نموذج مشفّر-مفكك (Encoder-Decoder) قائم على الصور، وتم تصميم إطارنا لجمع وتكرار المعلومات من الإطارات المجاورة وإعادة تركيب المناطق غير المعروفة بعد. وفي الوقت نفسه، يتم فرض التجانس الزمني على الإخراج بواسطة رد فعل متكرر ووحدة ذاكرة زمنية. بالمقارنة مع خوارزمية ترميم الصور الأكثر تقدمًا، تنتج طريقتنا مقاطع فيديو أكثر صحةً من الناحية الدلالية وأكثر سلاسةً من الناحية الزمنية. على عكس طرق إكمال الفيديو السابقة التي تعتمد على التحسين المستغرق وقتًا طويلاً، تعمل طريقتنا بشكل شبه فوري بينما تولد نتائج فيديو تنافسية. أخيرًا، تم تطبيق إطارنا على مهمة إعادة استهداف الفيديو، وحصلنا على نتائج مرئية مرضية.