E-NeRV: تسريع التمثيل المرئي العصبي من خلال سياق فردي فراغي-زمني

في الآونة الأخيرة، اكتسبت تمثيلات الشبكة العصبية الضمنية ذات الاعتماد على الصور في مقاطع الفيديو، المعروفة بـ NeRV، شعبية كبيرة بفضل النتائج الواعدة وسرعة الأداء مقارنة بالتمثيلات الضمنية التقليدية القائمة على البكسل. ومع ذلك، فإن المعاملات الزائدة داخل هيكل الشبكة يمكن أن تؤدي إلى حجم نموذج كبير عند توسيع النموذج لتحقيق أداء مرغوب. والسبب الرئيسي في هذه الظاهرة هو الصيغة المترابطة التي تعتمدها NeRV، والتي تُخرِج المعلومات المكانية والزمنية لإطارات الفيديو مباشرةً من مدخل الفهرس الخاص بالإطار. في هذه الورقة، نقترح E-NeRV، التي تُسرّع بشكل كبير أداء NeRV من خلال فصل تمثيل الشبكة العصبية الضمنية القائم على الصور إلى سياقين منفصلين: مكاني وزمني. وبتوجيه من هذه الصيغة الجديدة، تقلل نموذجنا بشكل كبير من المعاملات الزائدة، مع الحفاظ على قدرة التمثيل. ووجدنا تجريبيًا أن طريقة التمثيل المقترحة تُحسّن الأداء بشكل كبير باستخدام عدد أقل من المعاملات، مما يؤدي إلى تسريع في سرعة التقارب بأكثر من 8 أضعاف. يُمكن الاطلاع على الكود على الرابط التالي: https://github.com/kyleleey/E-NeRV.