ملخص الفيديوهات باستخدام الانتباه

في هذا العمل، نقترح طريقة جديدة لملخص الفيديو تحت الإشراف باستخدام ميكانيزم الانتباه الذاتي الناعم والبسيط من الناحية المفهومية وكفاءة الحساب. تستخدم الطرق الرائدة حاليًا شبكات متكررة ثنائية الاتجاه مثل BiLSTM مع ميكانيزم الانتباه. هذه الشبكات معقدة في التنفيذ وتتطلب حسابات أكثر بكثير مقارنة بالشبكات المتصلة بالكامل. بناءً على ذلك، نقترح شبكة بسيطة تعتمد على الانتباه الذاتي لملخص الفيديو، والتي تقوم بتحويل التسلسل الكامل إلى تسلسل في مرور واحد للأمام ومرور واحد للخلف أثناء التدريب. حققت طرحتنا نتائجًا رائدة جديدة على منصتي الاختبار TvSum وSumMe، اللتين تُستخدمان بشكل شائع في هذا المجال.