HyperAIHyperAI

Command Palette

Search for a command to run...

غوديفا: توليد مقاطع فيديو ذات مجال مفتوح من وصف طبيعي

Chenfei Wu Lun Huang Qianxi Zhang Binyang Li Lei Ji Fan Yang Guillermo Sapiro Nan Duan

الملخص

تُعدّ عملية إنشاء مقاطع فيديو من نصوص تحديًا كبيرًا بسبب المتطلبات الحسابية العالية المطلوبة للتدريب، بالإضافة إلى عدد لا نهائي من الإجابات الممكنة لتقييم النتائج. في الدراسات السابقة، غالبًا ما تُجرَى التجارب على مجموعات بيانات بسيطة أو صغيرة الحجم، حيث تكون قدرة التعميم محدودة جدًا. في هذا العمل، نقترح نموذج GODIVA، وهو نموذج مُدرّب مسبقًا على مجال مفتوح لتحويل النص إلى فيديو، قادر على إنشاء مقاطع فيديو من النصوص بطريقة تلقائية تتابُعية (auto-regressive) باستخدام آلية انتباه ثلاثية الأبعاد نادرة (three-dimensional sparse attention). تم تدريب نموذجنا مسبقًا على مجموعة بيانات Howto100M، وهي مجموعة بيانات ضخمة تضم أكثر من 136 مليون زوج من النصوص والفيديوهات. تُظهر النتائج أن GODIVA لا يمكنه فقط التدريب الدقيق (fine-tuning) على مهام إنشاء فيديو في المهام التطبيقية، بل يتمتع أيضًا بقدرات جيدة في التعلم الصفرية (zero-shot) على نصوص لم يُرَتَّب عليها من قبل. كما نقترح مقياسًا جديدًا يُسمّى "التطابق النسبي" (Relative Matching - RM) لتقييم تلقائي لجودة إنشاء الفيديو. ونُعدّد عدة تحديات ونناقشها كمجالات عمل مستقبلية.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
غوديفا: توليد مقاطع فيديو ذات مجال مفتوح من وصف طبيعي | مستندات | HyperAI