الحرفية الفنية: تنقية الفيديو من الضوضاء من خلال النمذجة العميقة وتطابق القطع

تم استغلال خاصية التشابه الذاتي غير المحلية للصور الطبيعية بشكل واسع لحل مشاكل مختلفة في معالجة الصور. عندما يتعلق الأمر بسلسلة الفيديو، فإن الاستفادة من هذه القوة تكون أكثر فائدة بسبب الأحمر الزماني (temporal redundancy). في سياق إزالة الضوضاء من الصور والفيديوهات، تستخدم العديد من الخوارزميات التقليدية التشابه الذاتي، حيث يتم تقسيم البيانات إلى مربعات متداخلة، جمع مجموعات من المربعات المشابهة ومعالجتها بطريقة ما. مع ظهور شبكات العصب الاصطناعية المتلافهة (CNN)، تم التخلي عن الإطار القائم على المربعات. تعمل معظم مزيلات الضوضاء التي تعتمد على CNN على الصورة بأكملها، مستفيدةً من العلاقات غير المحلية بشكل ضمني فقط باستخدام مجال استقبال كبير. يقترح هذا العمل نهجًا جديدًا للاستفادة من التشابه الذاتي في سياق إزالة الضوضاء من الفيديو، مع الاحتفاظ بالاعتماد على بنية متلافية قياسية. نقدم مفهوم الإطارات المصممة بالمربعات (patch-craft frames) - وهي إطارات اصطناعية مشابهة للأطارات الحقيقية، يتم بناؤها بتجميع المربعات المتطابقة. يقوم خوارزميتنا بزيادة سلسلة الفيديو بالإطارات المصممة بالمربعات وإرسالها إلى CNN. نوضح الزيادة الكبيرة في أداء إزالة الضوضاء التي تُحقَّق باستخدام النهج المقترح.