HyperAIHyperAI

Command Palette

Search for a command to run...

ملخص الفيديو باستخدام شبكات المُشفِّر والمُفكِّك المستندة إلى الانتباه

Zhong Ji Kailin Xiong Yanwei Pang Xuelong Li

الملخص

يتناول هذا البحث مشكلة تلخيص الفيديو تحت الإشراف من خلال صياغتها كمشكلة تعلم متتالية إلى متتالية، حيث تكون المدخلات متتالية لصور الفيديو الأصلية والمخرجات متتالية للقطات الرئيسية. الفكرة الأساسية لدينا هي تعلم شبكة عميقة لتلخيص مع آلية الانتباه بهدف تقليد طريقة اختيار اللقطات الرئيسية من قبل الإنسان. لتحقيق هذا، نقترح إطارًا جديدًا لتلخيص الفيديو يُسمى شبكات الترميز-التفكيك ذات الانتباه لتلخيص الفيديو (AVS)، حيث يستخدم الترميز LSTM ثنائية الاتجاه (BiLSTM) لترميز المعلومات السياقية بين صور الفيديو المدخلة. أما بالنسبة للتفكيك، فقد تم استكشاف شبكتين LSTM تعتمدان على الانتباه باستخدام دوال هدف جمعية وضربية على التوالي. أجريت تجارب موسعة على ثلاثة مجموعات بيانات مرجعية لتلخيص الفيديو، وهي SumMe وTVSum. أظهرت النتائج تفوق النهج المقترح القائم على AVS على أفضل النهج الحالية، مع تحسينات ملحوظة تتراوح بين 0.8% و3% في كلتا المجموعتين البيانات.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp