FeatureFlow: استيفاء فيديو موثوق من خلال توليد البنية إلى النسيج

تهدف التداخلات الفيديو إلى إنشاء إطارات غير موجودة بين إطارين متتاليين. وعلى الرغم من النتائج الواعدة التي حققتها الطرق القائمة على التدفق البصري الحالية، إلا أنها ما زالت تواجه تحديات كبيرة في معالجة تداخل المشاهد الديناميكية المعقدة، والتي تشمل الظلال (الإغلاق)، والضبابية، أو التغيرات المفاجئة في السطوع. ويُعزى ذلك في المقام الأول إلى أن هذه الحالات قد تُخرِّب الافتراضات الأساسية لتقدير التدفق البصري (أي السلسّة والاتساق). في هذا العمل، قمنا بتطوير إطار جديد يعتمد على التوليد من البنية إلى النسيج، ويقسم مهمة تداخل الفيديو إلى مرحلتين: تداخل موجه بالبنية، وتحسين النسيج. في المرحلة الأولى، تُستخدم ميزات عميقة تأخذ بعين الاعتبار البنية لتوقع تدفقات الميزات بين الإطارات المتتالية والنتيجة الوسطية، ثم تُستخدم هذه التدفقات لتكوين الصورة البنائية للإطار المتوسط. وفي المرحلة الثانية، وباستنادًا إلى النتيجة الأولية المُولَّدة، يتم تدريب مُكمِّل نسيج الإطار (Frame Texture Compensator) لملء التفاصيل الدقيقة للنسيج. إلى أقصى معرفة لدينا، فإن هذا العمل هو الأول الذي يحاول توليد الإطار المتوسط مباشرة من خلال خلط الميزات العميقة. وأظهرت التجارب على مجموعات البيانات القياسية، وكذلك في الحالات الصعبة التي تتضمن إغلاقًا، تفوق الإطار المقترح على الطرق المتطورة حديثًا. يمكن الوصول إلى الشفرات من خلال الرابط: https://github.com/CM-BF/FeatureFlow.