HyperAIHyperAI

Command Palette

Search for a command to run...

الملخص الفيديوي التدريجي عبر التعلم الذاتي متعدد الوسائط

Haopeng Li Qiuhong Ke Mingming Gong Tom Drummond

الملخص

تستند طرق التلخيص الحديثة للفيديو على شبكات عصبية عميقة تتطلب كميات كبيرة من البيانات المُشَرَّحة للتدريب. ومع ذلك، فإن مجموعات البيانات الحالية لتلخيص الفيديو صغيرة النطاق، مما يؤدي بسهولة إلى تكيف زائد للنماذج العميقة. نظرًا لأن شرح مجموعات البيانات الكبيرة يستغرق وقتًا طويلاً، فقد اقترحنا إطارًا للتعلم الذاتي متعدد الوسائط للحصول على تمثيلات معنوية للفيديوهات، مما يفيد مهمة تلخيص الفيديو. وبشكل خاص، يتم إجراء التعلم الذاتي من خلال استكشاف التناسق المعنى بين الفيديوهات والنصوص بطريقة شاملة ومفصلة (coarse-grained and fine-grained)، بالإضافة إلى استعادة الإطارات المخفية في الفيديوهات. يتم تدريب الإطار متعدد الوسائط على مجموعة بيانات جديدة تم جمعها وتتألف من أزواج فيديو-نص. بالإضافة إلى ذلك، نقدم طريقة تلخيص فيديو تدريجية، حيث يتم تحديد المحتوى الهام في الفيديو بشكل تدريجي لإنتاج ملخصات أفضل. وقد أثبتت التجارب الواسعة فعالية وتفوق طريقتنا في معاملات الارتباط الرتبة وف-النقاط (rank correlation coefficients and F-score).


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp