التعلم التسلسلي التسلسلي المُوجَّه بتدفق غير مُراقب لاستعادة الفيديو

كيفية نمذجة العلاقة بين الإطارات داخل التسلسل الفيديو بشكل مناسب تُعدّ تحديًا مهمًا ولكن غير محلول في مجال إصلاح الفيديو (VR). في هذا العمل، نقترح نموذجًا تسلسليًا مُتوافقًا مع التدفق (S2SVR) غير مُراقب لمعالجة هذه المشكلة. من جهة، يتم استكشاف نموذج التسلسل إلى التسلسل، الذي أثبت قدرته على نمذجة التسلسلات في مجال معالجة اللغة الطبيعية، لأول مرة في مجال إصلاح الفيديو. كما أن نمذجة التسلسل المُحسّنة تُظهر إمكانات كبيرة في التقاط الاعتماديات على المدى الطويل بين الإطارات. من جهة أخرى، نزوّد نموذج التسلسل إلى التسلسل بمُقدّر تدفق بصري غير مُراقب لتعظيم إمكاناته. يتم تدريب مُقدّر التدفق باستخدام خسارة التكثيف غير المُراقبة التي اقترحناها، والتي تُخفف من مشكلة عدم التوافق في البيانات ومشكلة التدفق البصري المعطّل الدقيق في الأساليب السابقة القائمة على التدفق. وبفضل التدفق البصري الموثوق، يمكننا إقامة تقابل دقيق بين عدة إطارات، مما يقلل من الفرق بين المجالات بين الإطارات ذات الأبعاد الواحدة (كما في اللغة) والإطارات الثنائية الأبعاد غير المتماشية، ويعزز من إمكانات نموذج التسلسل إلى التسلسل. تُظهر S2SVR أداءً متفوّقًا في مهام متعددة لإصلاح الفيديو، بما في ذلك إزالة الضبابية في الفيديو، وتحسين الدقة الفائقة للفيديو، وتعزيز جودة الفيديو المشفر. يُتاح الكود والنماذج بشكل عام على الرابط: https://github.com/linjing7/VR-Baseline