تعزيز الفيديو باستخدام التدفق الموجه للمهمة

تستند العديد من خوارزميات تحسين الفيديو إلى التدفق البصري لتسجيل الإطارات في سلسلة فيديو. ومع ذلك، فإن تقدير التدفق بدقة هو أمر غير قابل للحل؛ والتدفق البصري نفسه غالبًا ما يكون تمثيلًا غير مثالي لمهام معالجة الفيديو المحددة. في هذا البحث، نقترح التدفق الموجه للمهمة (TOFlow)، وهو تمثيل حركة يتم تعلمه بطريقة ذاتية إشراف ومحددة للمهمة. نصمم شبكة عصبية تحتوي على مكون قابل للتدريب لتقدير الحركة ومكون لمعالجة الفيديو، ونقوم بتدريبهما معًا لتعلم التدفق الموجه للمهمة. لأغراض التقييم، نبني مجموعة بيانات فيميو-90K، وهي مجموعة بيانات فيديو كبيرة وعالية الجودة لمهام معالجة الفيديو الأولية. يتفوق TOFlow على التدفق البصري التقليدي في المقاييس القياسية وكذلك في مجموعة بياناتنا فيميو-90K في ثلاث مهام لمعالجة الفيديو: تكميم الإطارات، إزالة الضوضاء/فك الكتل من الفيديو، وتحسين دقة الفيديو فائقة الدقة.