استخلاص ملخص الفيديو غير المراقب من خلال التعلم العدواني المُوجه بالانتباه
{Ioannis Patras Vasileios Mezaris Alexandros I. Metsai Eleni Adamantidou Evlampios Apostolidis}
الملخص
يقدم هذا البحث منهجية جديدة لتلخيص الفيديو، والتي تدمج آلية الانتباه لتحديد الأجزاء المهمة في الفيديو، وتدرب نموذجها بدون إشراف باستخدام التعلم المُضاد التوليدي. ابتداءً من نموذج SUM-GAN، قمنا أولًا بتطوير نسخة محسّنة منه (تسمى SUM-GAN-sl)، والتي تتميز بعدد مُقلّص بشكل كبير من المعاملات القابلة للتعلم، وتمكّن من التدريب التدرجي لمكونات النموذج، وتُطبّق استراتيجية مبنية على التسمية خطوة بخطوة لتحديث الجزء المُضاد. ثم قمنا بدمج آلية الانتباه في SUM-GAN-sl بطريقتين: (أ) من خلال دمج طبقة انتباه داخل مُشفّر التباين (VAE) في البنية (SUM-GAN-VAAE)، و(ب) عن طريق استبدال VAE بـ مُشفّر تلقائي انتباهي محدد (SUM-GAN-AAE). وقد أظهر التقييم التجريبي على مجموعتي بيانات (SumMe وTVSum) إسهام مُشفّر الانتباه التلقائي في تسريع وتحسين استقرار عملية التدريب، ما أدى إلى تحسين ملحوظ في الأداء مقارنة بالنموذج الأصلي، كما أظهرت النتائج أن النموذج المقترح SUM-GAN-AAE يتنافس بشكل فعّال مع أحدث التقنيات الحالية.
المعايير القياسية
| معيار قياسي | المنهجية | المقاييس |
|---|---|---|
| unsupervised-video-summarization-on-summe | SUM-GAN-AAE | F1-score: 48.9 Parameters (M): 24.31 training time (s): 1639 |
| unsupervised-video-summarization-on-tvsum | SUM-GAN-AAE | F1-score: 58.3 Parameters (M): 24.31 training time (s): 5423 |
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.