شبكة MEMC-Net: تقدير الحركة وتعويض الحركة قيادة الشبكة العصبية للاستكمال والتحسين الفيديو
تم استخدام تقدير الحركة (ME) وتعويض الحركة (MC) على نطاق واسع في أنظمة إدخال الإطارات الفيديوية التقليدية على مدى العقود الماضية. مؤخرًا، تم اقتراح العديد من طرق إدخال الإطارات المستندة إلى البيانات والمبنية على شبكات العصب المتشابكة التلافيفية. ومع ذلك، فإن الطرق القائمة على التعلم تقدر عادةً إما التدفق أو نوى التعويض، مما يحد من الأداء سواءً من حيث كفاءة الحسابات أو دقة الإدخال. في هذا العمل، نقترح شبكة عصبية مدعومة بتقدير الحركة وتعويضها لإدخال الإطارات الفيديوية. تم تطوير طبقة تشوه متكيفة جديدة لدمج كل من التدفق البصري ونوى الإدخال لتوليد بيكسلات الإطار الهدف. هذه الطبقة قابلة للتفاضل بالكامل بحيث يمكن تحسين شبكات تقدير التدفق والنواة بشكل مشترك. يستفيد النموذج المقترح من مزايا طرق تقدير الحركة والتعويض دون استخدام خصائص مصممة يدويًا. بالمقارنة مع الطرق الموجودة، فإن نهجنا يتميز بكفاءة حسابية عالية وقدرة على إنتاج نتائج أكثر جاذبية بصريًا. بالإضافة إلى ذلك، يمكن تكييف الشبكة المقترحة MEMC-Net بسلاسة مع عدة مهام تعزيز الفيديو مثل زيادة الدقة والتقليل من الضوضاء وإزالة الكتل. أظهرت التقييمات الكمية والنوعية الواسعة أن الطريقة المقترحة تؤدي بشكل متفوق مقابل خوارزميات إدخال وتقوية الإطارات الفيديوية الأكثر تقدمًا في مجموعة متنوعة من المجموعات البيانات.