التنقيح غير المشرف للفيديو باستخدام التوافق الدوري

تعلم توليف مقاطع الفيديو ذات معدل الإطارات العالي عبر التحويل يتطلب كميات كبيرة من مقاطع الفيديو التدريبية ذات معدل الإطارات العالي، والتي تكون نادرة، خاصة عند الدقة العالية. في هذا البحث، نقترح تقنيات غير مراقبة لتوليف مقاطع الفيديو ذات معدل الإطارات العالي مباشرة من مقاطع الفيديو ذات معدل الإطارات المنخفض باستخدام اتساق الحلقة (cycle consistency). بالنسبة لمجموعة ثلاثية من الإطارات المتتالية، نقوم بتحسين النماذج لتصغير الاختلاف بين الإطار الأوسط وإعادة بنائه عبر الحلقة، والذي يتم الحصول عليه من خلال التحويل مرة أخرى من الإطارات الوسيطة المحولة. هذه القيود غير المراقبة البسيطة وحدها تحقق نتائج مقاربة مع تلك التي يتم الحصول عليها بواسطة الرقابة باستخدام الإطارات الوسيطة الحقيقية. بالإضافة إلى ذلك، نقدم حدًا خسارة شبه مراقب يفرض على الإطارات المحولة أن تكون متسقة مع توقعات نموذج تحويل مسبق التدريب. يمكن استخدام حد الخسارة شبه المراقب مع اتساق الحلقة (cycle consistency) بشكل فعال لتكييف نموذج تم تدريبه سابقًا على مجال هدف جديد. بدون بيانات إضافية وبشكل تمامًا غير مراقب، تحسن تقنياتنا بشكل كبير النماذج المسبقة التدريب على مجالات الهدف الجديدة، حيث زادت قيم PSNR من 32.84 ديسيبل إلى 33.05 ديسيبل على مجموعة البيانات Slowflow ومن 31.82 ديسيبل إلى 32.53 ديسيبل على مجموعة البيانات Sintel.