تحديد الأفعال الزمنية في مقاطع الفيديو غير المقصوصة عبر شبكات الـ CNN متعددة المراحل

نتناول مشكلة تحديد الأنشطة الزمنية في مقاطع الفيديو الطويلة غير المقصوصة. وهذا مهم لأن الفيديوهات في التطبيقات الحقيقية تكون عادةً غير محددة وتحتوي على العديد من حالات الأنشطة بالإضافة إلى محتوى الفيديو لل.scenes الخلفية أو أنشطة أخرى لمعالجة هذه المشكلة الصعبة، نستغل فعالية الشبكات العميقة في تحديد الأنشطة الزمنية من خلال ثلاثة شبكات ثلاثية الأبعاد قائمة على المقاطع: (1) شبكة اقتراح تحدد المقاطع المرشحة في الفيديو الطويل التي قد تحتوي على أنشطة؛ (2) شبكة تصنيف تتعلم نموذج تصنيف واحد مقابل الكل للأعمال لتكون نقطة بداية لشبكة التحديد؛ و(3) شبكة تحديد تقوم بضبط النموذج المتعلم من شبكة التصنيف لتحديد كل حالة نشاط. نقترح دالة خسارة جديدة لشبكة التحديد تأخذ بعين الاعتبار التداخل الزمني بشكل صريح، مما يتيح تحقيق دقة عالية في التحديد الزمني. يتم استخدام شبكة الاقتراح وشبكة التحديد فقط أثناء التنبؤ. على مقعدين معياريين كبيرين، تحقق طريقتنا أداءً أفضل بكثير مقارنة بأنظمة التقنية المتقدمة الأخرى: حيث يرتفع mAP من 1.7٪ إلى 7.4٪ على MEXaction2 ومن 15.0٪ إلى 19.0٪ على THUMOS 2014، عند ضبط عتبة التداخل للتقدير عند 0.5.