شبكات النسخ واللصق للتصحيح العميق في الفيديو

نقدم خوارزمية جديدة تعتمد على التعلم العميق لملء الفراغات في الفيديو. ملء الفراغات في الفيديو هو عملية إكمال المناطق المتضررة أو المفقودة في مقاطع الفيديو. تواجه هذه العملية تحديات إضافية مقارنة بملء الفراغات في الصور بسبب المعلومات الزمنية الإضافية وحاجة الحفاظ على التجانس الزمني. نقترح إطارًا جديدًا يعتمد على الشبكات العصبية العميقة (DNN) يُسمى شبكات النسخ واللصق (Copy-and-Paste Networks) لملء الفراغات في الفيديو، والذي يستفيد من المعلومات الإضافية الموجودة في الإطارات الأخرى من الفيديو. يتم تدريب الشبكة على نسخ المحتويات المقابلة في الإطارات المرجعية ولصقها لملء الثقوب في الإطار المستهدف. يتضمن نظامنا أيضًا شبكة تسوية تقوم بحساب المصفوفات الافينية بين الإطارات للتسوية، مما يمكّن الشبكة من استخدام المعلومات من إطارات أبعد لتحقيق متانة أكبر. تنتج طريقتنا نتائج مرئية جذابة ومتزامنة زمنيًا بينما تعمل بشكل أسرع من أفضل طريقة قائمة على التحسين حتى الآن. بالإضافة إلى ذلك، نوسع إطارنا لتحسين الإطارات التي تكون مضاءة أكثر أو أقل من اللازم في مقاطع الفيديو. باستخدام تقنية التحسين هذه، تمكنا من تحسين دقة اكتشاف المسار بشكل كبير في مقاطع الفيديو الطرقية.