SCSampler: أخذ عينات من المقاطع البارزة في الفيديو للاعتراف السريع بالأعمال

بينما تتكون العديد من مجموعات بيانات التعرف على الأنشطة من مجموعات مقاطع فيديو قصيرة ومقطعة تحتوي كل منها على نشاط ذي صلة، فإن الفيديوهات في العالم الحقيقي (مثل تلك الموجودة على يوتيوب) تظهر خصائص مختلفة للغاية: فهي غالبًا ما تكون لعدة دقائق، حيث يتم تداخل المقاطع ذات الصلة القصيرة مع فترات طويلة تحتوي على تغييرات قليلة. يعد تطبيق نظام التعرف على الأنشطة بكثافة على كل مقطع زمني ضمن هذه الفيديوهات باهظ الثمن بشكل كبير. بالإضافة إلى ذلك، كما نوضح في تجاربنا، يؤدي هذا إلى دقة غير مثلى في التعرف لأن التوقعات المعلوماتية من المقاطع ذات الصلة تكون أقل عددًا من النتائج غير المفيدة للتصنيف خلال الأقسام الطويلة غير المعلوماتية من الفيديو. في هذا البحث، نقدم نموذج "عينة المقطع" (clip-sampling) الخفيف الذي يمكنه تحديد المقاطع الزمنية الأكثر أهمية بفعالية داخل فيديو طويل. نثبت أن تكلفة الحساب للتعرف على الأنشطة في الفيديوهات الغير مقطعة يمكن تقليصها بشكل كبير عن طريق استدعاء التعرف فقط على هذه المقاطع الأكثر أهمية. علاوةً على ذلك، نوضح أن هذا يؤدي إلى زيادة كبيرة في دقة التعرف مقارنةً بتحليل جميع المقاطع أو اختيار مقاطع عشوائية/منتظمة. وعلى مجموعة بيانات Sports1M، يرفع نظام العينة الخاص بنا بدقة تصنيف الأنشطة التي تعد بالفعل رائدة في مجالها بنسبة 7% ويخفض أكثر من 15 مرة تكلفتها الحاسوبية.