التقاطع المتعدد إلى المتعدد لتحسين التداخل الإطاري للفيديو بكفاءة

تعتمد طريقة التداخل الزمني للإطارات في مقاطع الفيديو القائمة على الحركة بشكل شائع على التدفق البصري لتحويل البكسلات من الإطارات المدخلة إلى اللحظة الزمنية المستهدفة. ومع ذلك، نظرًا للتحديات الجوهرية في تقدير الحركة (مثل الظلال والانقطاعات)، فإن معظم الطرق المتطورة حديثًا لتقريب الإطارات تتطلب تحسينًا لاحقًا للنتيجة الناتجة عن التحويل، مما يؤدي إلى تقليل كفاءة العملية بشكل كبير، خاصة في حالات التداخل متعدد الإطارات. في هذه الدراسة، نقترح إطارًا متكاملًا قابلاً للتفاضل الكامل (M2M) يعتمد على تقنية "الرش" (splatting) من عدة إلى عدة، لتقريب الإطارات بشكل فعّال. وبشكل خاص، وباستخدام زوج من الإطارات كمدخلات، نقدّر تدفقات ثنائية الاتجاه متعددة لتحويل البكسلات مباشرة إلى اللحظة الزمنية المستهدفة، ثم ندمج البكسلات المتداخلة. وبهذا، يُمكن لكل بكسل مصدر أن يُساهم في توليد عدة بكسلات مستهدفة، ويُمكن لكل بكسل مستهدف أن يُولّد من منطقة أوسع من السياق البصري. وهذا يُشكّل نظامًا للرش من عدة إلى عدة يتمتع بقدرة عالية على مقاومة العيوب مثل الفجوات. علاوةً على ذلك، لكل زوج من الإطارات المدخلة، يقوم M2M بعملية تقدير الحركة مرة واحدة فقط، ويُحقّق تكلفة حسابية ضئيلة جدًا عند إنتاج أي عدد عشوائي من الإطارات الوسيطة، مما يُتيح تداخلًا سريعًا متعدد الإطارات. أجرينا تجارب واسعة لتحليل أداء M2M، ووجدنا أنه يُحسّن الكفاءة بشكل ملحوظ مع الحفاظ على كفاءة عالية في النتائج.