تعلم الميزات التمييزية لملخص الفيديو بدون إشراف

في هذا البحث، نتناول مشكلة تلخيص الفيديو بدون إشراف والتي تقوم باستخراج اللقطات الرئيسية تلقائيًا من فيديو مدخل. تحديدًا، نعالج مشكلتين حاسمتين استنادًا إلى ملاحظاتنا التجريبية: (i) عدم فعالية تعلم الميزات بسبب التوزيعات المستوية لدرجات الأهمية المخرجة لكل إطار، و (ii) صعوبة التدريب عند التعامل مع مدخلات الفيديو الطويلة. لحل المشكلة الأولى، نقترح حدًا خسارة تنظيميًا بسيطًا ولكنه فعال يُعرف بخسارة التباين. يسمح الحد المقترح من الخسارة للشبكة بتوقع درجات الإخراج لكل إطار بمعدل اختلاف عالٍ، مما يمكن من تعلم الميزات بشكل فعال ويحسن أداء النموذج بشكل كبير. أما بالنسبة للمشكلة الثانية، فقد صممنا شبكة ثنائية التيار جديدة تُسمى شبكة القطعة والخطوة (Chunk and Stride Network - CSNet) التي تستفيد من الرؤية الزمنية المحلية (القطعة) والعالمية (الخطوة) لميزات الفيديو. توفر شبكتنا CSNet نتائج تلخيص أفضل للفيديوهات الطويلة مقارنة بالطرق الموجودة حاليًا. بالإضافة إلى ذلك، قمنا بتقديم آلية انتباه لمعالجة المعلومات الديناميكية في الفيديوهات. نوضح فعالية الطرق المقترحة من خلال إجراء دراسات تقليص واسعة النطاق ونظهر أن نموذجنا النهائي حقق نتائج رائدة جديدة على مجموعتي بيانات معياريتين.