شبكة متكررة هرمية موحدة لاستيفاء إطارات الفيديو

يوفر التوليد الموجه بالتدفق إطارًا موحدًا لاستيفاء الإطارات، حيث يتم تقدير تدفق الضوء لتوجيه عملية توليد الإطارات الوسيطة بين الإطارات المتعاقبة. في هذه الورقة، نقدّم UPR-Net، وهو شبكة متعددة المستويات موحدة ومتجددة جديدة لاستيفاء الإطارات. وتُصمم UPR-Net ضمن إطار هرمي مرن، وتستفيد من وحدات متكررة خفيفة الوزن لتقدير التدفق ثنائي الاتجاه وتوليد الإطارات الوسيطة. في كل مستوى هرمي، تستخدم UPR-Net التدفق ثنائي الاتجاه المقدر لتوليد تمثيلات مُحَوَّلة أمامية لغرض توليد الإطارات؛ أما على المستويات المختلفة للهرم، فهي تتيح تحسينًا تكراريًا لكل من تدفق الضوء والإطار الوسيط. ونُظهر بشكل خاص أن استراتيجيتنا التكرارية في التوليد تُحسّن بشكل كبير من موثوقية استيفاء الإطارات في الحالات التي تتضمن حركات كبيرة. وبالرغم من كون النسخة الأساسية من UPR-Net خفيفة جدًا (بمقدار 1.7 مليون معامل)، فإنها تحقق أداءً ممتازًا على طيف واسع من المعايير. يمكن الوصول إلى الشفرة والنماذج المدربة لسلسلة UPR-Net من خلال: https://github.com/srcn-ivl/UPR-Net.