إدراج التعلم ذاتي التوجيه في التلخيص غير المراقب للفيديو من خلال درجة الإصلاح.

في هذه الورقة، نقدم عملية جديدة لإنشاء ملخصات فيديو بطريقة غير مراقبة. يعتمد نهجنا على تدريب نموذج مشفر مُحول (Transformer Encoder) لإعادة بناء الإطارات المفقودة في الفيديو بطريقة ذاتية التعلم، باستخدام الفيديو المُحجب جزئيًا كمدخل. ثم نُقدّم خوارزمية تُستخدم هذا المشفر المُدرّب مسبقًا لحساب درجة أهمية لكل إطار. تُستخدم هذه الدرجات لتكوين ملخص الفيديو. نُظهر أن خسارة إعادة البناء للنموذج بالنسبة للفيديو الذي تم حجب إطارات فيه ترتبط بتمثيلية الإطارات المتبقية في الفيديو. ونُحقّق فعالية نهجنا على مجموعتي بيانات معياريتين هما TVSum وSumMe، ونُثبت أنه يتفوّق على أحدث الطرق (SOTA). علاوة على ذلك، فإن نهجنا أكثر استقرارًا خلال عملية التدريب مقارنة بالتقنيات الحالية القائمة على التعلم التآزري التوليدية (Generative Adversarial Learning). وتم إتاحة الكود المصدري للنظام بشكل علني 1.