شبكات العصبيات المتكررة المطوية للتنبؤ بالفيديو المستقبلي

تنبؤ الفيديو المستقبلي هو مشكلة غير محددة بشكل جيد في مجال رؤية الحاسوب وقد حظيت باهتمام كبير مؤخرًا. تحدياتها الرئيسية تتمثل في التباين العالي في محتوى الفيديو، وانتشار الأخطاء عبر الزمن، وعدم تحديد الإطارات المستقبلية: مع وجود سلسلة من الإطارات السابقة، هناك توزيع مستمر للسيناريوهات المحتملة للمستقبل. يقدم هذا العمل وحدات متكررة ثنائية الاقتران (Bijective Gated Recurrent Units)، وهي خريطة مزدوجة بين المدخل والمخرج لطبقة الوحدات المتكررة (GRU). هذا يسمح باستخدام ترميزات ذاتية متكررة مع تقاسم الحالة بين الترميز والفك، مما يساهم في تقسيم تمثيل السلسلة ويساعد في منع مشاكل السعة. نوضح كيف يمكن أن يؤدي هذا التكوين إلى الحاجة لتطبيق الترميز فقط أو الفك فقط للترميز الدخول والتنبؤ، على التوالي. هذا يقلل من التكلفة الحسابية ويتجنب إعادة ترميز التنبؤات عند إنشاء سلسلة من الإطارات، مما يخفف من انتشار الأخطاء. بالإضافة إلى ذلك، يمكن إزالة طبقات من نموذج تم تدريبه بالفعل، مما يوفر رؤية حول الدور الذي تقوم به كل طبقة ويجعل النموذج أكثر قابلية للتفسير. نقيم نهجنا على ثلاثة مجموعات بيانات فيديو، حيث حققنا نتائج أفضل من أفضل النتائج المعاصرة في MMNIST وUCF101، وحصلنا على نتائج تنافسية في KTH مع استخدام ذاكرة أقل بمقدار مرتين أو ثلاث مرات وأقل تكلفة حسابية.