تمثيلات تجميعية زمنية لفهم الفيديو على المدى الطويل

التنبؤ بالمستقبل، وبخاصة في مقاطع الفيديو الطويلة، يتطلب تفكيرًا استنتاجيًا بناءً على الملاحظات الحالية والماضية. في هذه الدراسة، نعالج أسئلة حول مدى الزمن، والتوسع، ومستوى التعميم الدلالي، من خلال إطار عمل مرن لجمع الزمن متعدد المقاييس. ونُظهر أنه من الممكن تحقيق الأداء الأفضل في مجالات التنبؤ بالعملية التالية والتنبؤ الكثيف باستخدام تقنيات بسيطة مثل التجميع الأقصى (max-pooling) والانتباه (attention). ولإثبات قدرات النموذج على التنبؤ، أجرينا تجارب على مجموعات بيانات Breakfast و50Salads وEPIC-Kitchens، حيث تحقق أداءً متميزًا على مستوى العالم. وبتعديلات بسيطة جدًا، يمكن أيضًا توسيع النموذج لاستخدامه في تقسيم الفيديو والتمييز عن الحركات.