AdaCoF: التكامل التكيفي للتدفقات في إدخال الإطارات الفيديوية

تعد تقنية إدخال الإطارات الفيديوية من أكثر التحديات صعوبة في مجال بحوث معالجة الفيديو. وفي الآونة الأخيرة، تم اقتراح العديد من الدراسات المستندة إلى التعلم العميق. تركز معظم هذه الأساليب على العثور على مواقع تحتوي على معلومات مفيدة لتقدير كل بكسل في الإطار الخرج باستخدام عمليات تشويه الإطارات الخاصة بها. ومع ذلك، تعاني العديد منها من قيود درجات الحرية (DoF) وتفشل في التعامل مع الحركات المعقدة الموجودة في مقاطع الفيديو الحقيقية. لحل هذه المشكلة، نقترح وحدة تشويه جديدة تُسمى "التعاون التكيفي للتدفقات" (AdaCoF). يقدر أسلوبنا كلاً من وزن النواة ومتجهات الانزياح لكل بكسل هدف لإنشاء الإطار الخرج. تعتبر AdaCoF واحدة من أكثر وحدات التشويه تعميمًا مقارنة بالأساليب الأخرى، وتغطي معظمها كحالات خاصة منها. لذلك، يمكنها التعامل مع نطاق واسع جدًا من الحركات المعقدة. لتحسين إطار عملنا بشكل أكبر وإنتاج نتائج أكثر واقعية، قدمنا خسارة معاكسة ثنائية الإطار والتي تنطبق فقط على مهام إدخال الإطارات الفيديوية. تظهر النتائج التجريبية أن طريقتنا تتفوق على أفضل الأساليب الحالية لكل من بيئات مجموعة التدريب الثابتة ومقياس Middlebury.