ECO: شبكة_Convolutional_كفاءة لفهم الفيديو عبر الإنترنت

حالة الفن في فهم الفيديو تعاني من مشكلتين رئيسيتين: (1) يتم أداء الجزء الأكبر من الاستدلال بشكل محلي داخل الفيديو، ولذلك يفوت العلاقات المهمة ضمن الأنشطة التي تمتد لعدة ثوانٍ. (2) بينما توجد طرق محلية مع معالجة سريعة لكل إطار، فإن معالجة الفيديو بأكمله ليست كفوءة وتعرقل استرجاع الفيديو بسرعة أو تصنيف الأنشطة طويلة المدى عبر الإنترنت. في هذا البحث، نقدم هندسة شبكة تأخذ المحتوى طويل المدى بعين الاعتبار وتمكّن في الوقت نفسه من معالجة سريعة لكل فيديو. تعتمد هذه الهندسة على دمج المحتوى طويل المدى داخل الشبكة بدلاً من الدمج اللاحق (post-hoc fusion). بالاشتراك مع استراتيجية التحليل العيني التي تستفيد من أن الإطارات المجاورة تكون إلى حد كبير مكررة، فإن هذا ينتج تصنيفًا عالي الجودة للأنشطة وكتابة توضيحات للفيديو بمعدل يصل إلى 230 فيديو في الثانية، حيث يمكن أن يتكون كل فيديو من مئات الإطارات. تحقق هذه الطريقة أداءً تنافسيًا عبر جميع قواعد البيانات بينما تكون أسرع 10 إلى 80 مرة من أفضل الطرق الحالية.