تعلم نموذج التاريخ السببي المقطوع لاستعادة الفيديو

إن أحد التحديات الرئيسية في استعادة الفيديو هو نمذجة الديناميكيات الانتقالية لصور الفيديو التي تتحكم فيها الحركة. في هذا البحث، نقترح نظام TURTLE لتعلم نموذج التاريخ السببي المبتور بهدف تحقيق استعادة فيديو فعالة وأداء عالي. على عكس الطرق التقليدية التي تعالج مجموعة من الإطارات السياقية بشكل متوازي، يعزز TURTism الكفاءة من خلال تخزين وتلخيص تاريخ مبتور للتمثيل الكامن للإطار الدخلي في حالة تاريخية متطورة. يتم تحقيق ذلك من خلال آلية استرجاع معقدة تعتمد على التشابه وتحسب ضمنيًا الحركة والتوافق بين الإطارات. يسمح التصميم السببي في TURTLE بالترديد أثناء الاستدلال من خلال الميزات التاريخية المحفوظة في الحالة، بينما يتيح التدريب المتوازي عن طريق أخذ مقاطع الفيديو المبتورة كعينات. نقدم نتائج جديدة رائدة في مجال مهام استعادة الفيديو المرجعية المتعددة، بما في ذلك إزالة الثلج من الفيديو، إزالة الأمطار الليلية من الفيديو، إزالة قطرات وخطوط الأمطار من الفيديو، زيادة دقة الفيديو، إزالة التشويش من الفيديوهات الواقعية والاصطناعية، وإزالة الضوضاء العمياء من الفيديو مع تقليل التكلفة الحسابية مقارنة بأفضل الطرق السياقية الموجودة في جميع هذه المهام.