الملخص الفيديوي التدريجي عبر التعلم الذاتي متعدد الوسائط

تستند طرق التلخيص الحديثة للفيديو على شبكات عصبية عميقة تتطلب كميات كبيرة من البيانات المُشَرَّحة للتدريب. ومع ذلك، فإن مجموعات البيانات الحالية لتلخيص الفيديو صغيرة النطاق، مما يؤدي بسهولة إلى تكيف زائد للنماذج العميقة. نظرًا لأن شرح مجموعات البيانات الكبيرة يستغرق وقتًا طويلاً، فقد اقترحنا إطارًا للتعلم الذاتي متعدد الوسائط للحصول على تمثيلات معنوية للفيديوهات، مما يفيد مهمة تلخيص الفيديو. وبشكل خاص، يتم إجراء التعلم الذاتي من خلال استكشاف التناسق المعنى بين الفيديوهات والنصوص بطريقة شاملة ومفصلة (coarse-grained and fine-grained)، بالإضافة إلى استعادة الإطارات المخفية في الفيديوهات. يتم تدريب الإطار متعدد الوسائط على مجموعة بيانات جديدة تم جمعها وتتألف من أزواج فيديو-نص. بالإضافة إلى ذلك، نقدم طريقة تلخيص فيديو تدريجية، حيث يتم تحديد المحتوى الهام في الفيديو بشكل تدريجي لإنتاج ملخصات أفضل. وقد أثبتت التجارب الواسعة فعالية وتفوق طريقتنا في معاملات الارتباط الرتبة وف-النقاط (rank correlation coefficients and F-score).