MS-TCN: شبكة ت💬لقيTemporal متعددة المراحل لتقسيم الأفعال

تحديد وتصنيف فترات الأنشطة زمنيًا في مقاطع الفيديو الطويلة غير المقصوصة يحظى باهتمام كبير في العديد من التطبيقات مثل المراقبة والروبوتات. بينما تتبع النهج التقليدية خطوتين، الأولى توليد احتمالات على مستوى الإطارات ثم إدخالها إلى نماذج زمنية عليا، فإن النهج الحديثة تستعمل الالتفافات الزمنية لتصنيف الإطارات الفيديوية مباشرة. في هذا البحث، نقدم معمارية متعددة المراحل لمهمة تقسيم الأنشطة الزمنية. يتميز كل مرحلة بمجموعة من الالتفافات الزمنية الممتدة لتوليد تنبؤ أولي يتم تحسينه بواسطة المرحلة التالية. يتم تدريب هذه المعمارية باستخدام مزيج من خسارة التصنيف وخسارة تسوية مقترحة تعاقب على أخطاء التقسيم الزائد. تظهر التقييمات الواسعة فعالية النموذج المقترح في التقاط الارتباطات طويلة المدى وتعرف فترات الأنشطة. حقق نموذجنا أفضل النتائج الحالية على ثلاثة مجموعات بيانات صعبة: 50Salads، Georgia Tech Egocentric Activities (GTEA)، ومجموعة بيانات الإفطار (the Breakfast dataset).