CoordFlow: تدفق الإحداثيات لتمثيل الفيديو العصبي بالبكسل

في مجال ضغط الفيديو، يظل الهدف المتمثل في تحقيق جودة أعلى ب معدلات بت أقل هدفًا مستمرًا منذ فترة طويلة. أظهرت التطورات الأخيرة إمكانات التمثيل العصبي الضمني (INR) كبديل واعد للأساليب التقليدية القائمة على التحويل. ويمكن تقسيم INR الفيديو إلى نوعين رئيسيين حسب هيكل المخرجات التي تُولدها الشبكة: طرق تعتمد على الإطارات (frame-wise) وطرق تعتمد على البكسل (pixel-wise). بينما تُظهر الطرق القائمة على البكسل أداءً أفضل في التكبير (upsampling) والتوازي، أثبتت الطرق القائمة على الإطارات تفوقًا في الأداء. نقدم هنا "CoordFlow"، وهو نموذج جديد من نوع INR القائم على البكسل لضغط الفيديو، ويحقق نتائج منافسة للحالة الراهنة مقارنةً بالطرق البكسلية الأخرى، ويُقدّم أداءً مماثلًا للتقنيات الرائدة القائمة على الإطارات. تعتمد هذه الطريقة على فصل المعلومات البصرية إلى طبقات متسقة بصريًا، حيث يُمثّل كل طبقة شبكة مخصصة تُكمّل الحركة الخاصة بتلك الطبقة. عند دمج هذه الطبقات، يُنتج تلقائيًا تقسيمًا غير مُراقب (unsupervised segmentation) لسلسلة الفيديو. وتُستخدم مسارات حركة الكائنات بشكل ضمني لتعويض التكرار البصري-الزمني. علاوةً على ذلك، توفر الطريقة المقترحة قدرات مُدمجة في التكبير الفيديوي، والاستقرار، وإعادة التعبئة (inpainting)، والتنقيّة (denoising).