الانحناء المرن الفرقي الزمني المكاني لتحسين جودة الفيديو المضغوط

شهدت السنوات الأخيرة نجاحًا ملحوظًا للطرق القائمة على التعلم العميق في تحسين جودة الفيديو المضغوط. ولاستكشاف أعمق للمعلومات الزمنية، تُقدّم الطرق الحالية عادةً تقديرًا لتدفق بصري (optical flow) لإجراء تعويض حركي زمني. ومع ذلك، نظرًا لأن الفيديو المضغوط قد يتأثر بشكل شديد بالتشوهات الناتجة عن مختلف آثار الضغط، فإن التدفق البصري المقدّر يميل إلى أن يكون غير دقيق وغير موثوق، مما يؤدي إلى تحسين جودة غير فعّال. بالإضافة إلى ذلك، يتم عادةً تقدير تدفق بصري بين الإطارات المتتالية بطريقة زوجية (pairwise)، وهي طريقة مكلفة من حيث الحوسبة وليست فعّالة. في هذا البحث، نقترح طريقة سريعة وفعّالة لتحسين جودة الفيديو المضغوط من خلال دمج خطة جديدة تُسمى "الدمج المُنحني الفضائي الزمني" (Spatio-Temporal Deformable Fusion - STDF)، لاستخلاص المعلومات الزمنية. بشكل محدد، تأخذ الخطة المقترحة الإطار الهدف مع الإطارات المرجعية المجاورة له كمدخلات، بهدف التنبؤ بحقل تشويه (offset field) يُستخدم لتعديل مواقع العينة الفضائية الزمنية لل.Convolution. وبذلك، يمكن دمج المعلومات المكملة من كل من الإطار الهدف والإطارات المرجعية داخل عملية واحدة فقط من التحويل المُنحني الفضائي الزمني (Spatio-Temporal Deformable Convolution - STDC). أظهرت التجارب الواسعة أداءً متقدمًا جدًا في تحسين جودة الفيديو المضغوط من حيث الدقة والكفاءة.