غوديفا: توليد مقاطع فيديو ذات مجال مفتوح من وصف طبيعي

تُعدّ عملية إنشاء مقاطع فيديو من نصوص تحديًا كبيرًا بسبب المتطلبات الحسابية العالية المطلوبة للتدريب، بالإضافة إلى عدد لا نهائي من الإجابات الممكنة لتقييم النتائج. في الدراسات السابقة، غالبًا ما تُجرَى التجارب على مجموعات بيانات بسيطة أو صغيرة الحجم، حيث تكون قدرة التعميم محدودة جدًا. في هذا العمل، نقترح نموذج GODIVA، وهو نموذج مُدرّب مسبقًا على مجال مفتوح لتحويل النص إلى فيديو، قادر على إنشاء مقاطع فيديو من النصوص بطريقة تلقائية تتابُعية (auto-regressive) باستخدام آلية انتباه ثلاثية الأبعاد نادرة (three-dimensional sparse attention). تم تدريب نموذجنا مسبقًا على مجموعة بيانات Howto100M، وهي مجموعة بيانات ضخمة تضم أكثر من 136 مليون زوج من النصوص والفيديوهات. تُظهر النتائج أن GODIVA لا يمكنه فقط التدريب الدقيق (fine-tuning) على مهام إنشاء فيديو في المهام التطبيقية، بل يتمتع أيضًا بقدرات جيدة في التعلم الصفرية (zero-shot) على نصوص لم يُرَتَّب عليها من قبل. كما نقترح مقياسًا جديدًا يُسمّى "التطابق النسبي" (Relative Matching - RM) لتقييم تلقائي لجودة إنشاء الفيديو. ونُعدّد عدة تحديات ونناقشها كمجالات عمل مستقبلية.