HyperAIHyperAI
منذ 16 أيام

استخلاص ملخص الفيديو غير المراقب من خلال التعلم العدواني المُوجه بالانتباه

{Ioannis Patras, Vasileios Mezaris, Alexandros I. Metsai, Eleni Adamantidou, Evlampios Apostolidis}
الملخص

يقدم هذا البحث منهجية جديدة لتلخيص الفيديو، والتي تدمج آلية الانتباه لتحديد الأجزاء المهمة في الفيديو، وتدرب نموذجها بدون إشراف باستخدام التعلم المُضاد التوليدي. ابتداءً من نموذج SUM-GAN، قمنا أولًا بتطوير نسخة محسّنة منه (تسمى SUM-GAN-sl)، والتي تتميز بعدد مُقلّص بشكل كبير من المعاملات القابلة للتعلم، وتمكّن من التدريب التدرجي لمكونات النموذج، وتُطبّق استراتيجية مبنية على التسمية خطوة بخطوة لتحديث الجزء المُضاد. ثم قمنا بدمج آلية الانتباه في SUM-GAN-sl بطريقتين: (أ) من خلال دمج طبقة انتباه داخل مُشفّر التباين (VAE) في البنية (SUM-GAN-VAAE)، و(ب) عن طريق استبدال VAE بـ مُشفّر تلقائي انتباهي محدد (SUM-GAN-AAE). وقد أظهر التقييم التجريبي على مجموعتي بيانات (SumMe وTVSum) إسهام مُشفّر الانتباه التلقائي في تسريع وتحسين استقرار عملية التدريب، ما أدى إلى تحسين ملحوظ في الأداء مقارنة بالنموذج الأصلي، كما أظهرت النتائج أن النموذج المقترح SUM-GAN-AAE يتنافس بشكل فعّال مع أحدث التقنيات الحالية.

استخلاص ملخص الفيديو غير المراقب من خلال التعلم العدواني المُوجه بالانتباه | أحدث الأوراق البحثية | HyperAI