الملخص الفيديوي المشرف عبر مجموعات متعددة من الخصائص مع انتباه متوازي

تخصيص درجات الأهمية للكадرات أو المقاطع (القصيرة) في الفيديو أمر حاسم للملخصة، ولكنه أيضًا مهمة صعبة. تستخدم الدراسات السابقة فقط مصدرًا واحدًا من الخصائص البصرية. في هذا البحث، نقترح هندسة نموذج جديدة تجمع بين ثلاثة مجموعات من الخصائص للمضمون البصري والحركة لتوقع درجات الأهمية. يستخدم النموذج المقترح آلية انتباه قبل دمج خصائص الحركة والخصائص التي تمثل المحتوى البصري الثابت (أي المستمد من نموذج تصنيف الصور). يتم الإبلاغ عن تقييمات تجريبية شاملة لمجموعتين معروفتين من البيانات، وهما SumMe وTVSum. وفي هذا السياق، نحدد مشكلات منهجية فيما يتعلق بكيفية استخدام الدراسات السابقة لهذه المجموعات المرجعية، ونقدم مخطط تقييم عادل مع تقسيمات بيانات مناسبة يمكن استخدامها في الأعمال المستقبلية. عند استخدام الخصائص الثابتة والحركة مع آلية انتباه متوازية، نحسن النتائج الرائدة في المجال لـ SumMe، بينما نكون على مستوى النتائج الرائدة للمجموعة الأخرى من البيانات.