HyperE2VID: تحسين إعادة بناء الفيديو القائم على الأحداث من خلال الشبكات الفائقة

تزايدت شعبية الكاميرات القائمة على الأحداث بسبب قدرتها على التقاط الحركة السريعة بتأخير منخفض ونطاق ديناميكي عالٍ. ومع ذلك، فإن إنشاء مقاطع فيديو من الأحداث يظل تحديًا بسبب الطبيعة النادرة والمتغيرة بشكل كبير لبيانات الأحداث. لمعالجة هذا التحدي، نقترح في هذه الدراسة هندسة شبكة عصبية ديناميكية تُسمى HyperE2VID (هيبير إي تو فيدي) لاستعادة الفيديو القائم على الأحداث. يستخدم نهجنا الشبكات الفائقة لتوليد مرشحات متكيفة لكل بكسل، وهي مرشحات توجدها وحدة دمج السياق التي تجمع المعلومات من شبكات فوكسل للأحداث والصور المكثفة التي تم استعادتها سابقًا. كما نستخدم استراتيجية التعلم التدريجي لتدريب الشبكة بشكل أكثر صلابة. أظهرت تقييماتنا التجريبية الشاملة عبر مجموعة متنوعة من مجموعات البيانات المرجعية أن HyperE2VID (هيبير إي تو فيدي) لا تفوق فقط الأساليب الرائدة حاليًا من حيث جودة الاستعادة، بل تحقق ذلك أيضًا باستخدام عدد أقل من المعلمات، وتقليل متطلبات الحساب، وتسريع أوقات الاستدلال.