الملخص

تُعدّ تحرير الفيديو القائم على التعليمات واعدةً بتمكين إنشاء المحتوى على نطاق واسع، غير أن تقدّمها يعاني من تقييد شديد ناتج عن ندرة بيانات التدريب الكبيرة والعالية الجودة. نقدّم "ديتو" (Ditto)، وهي إطار عمل شمولي صُمّم لمواجهة هذا التحدي الجوهري. وتمثّل "ديتو" نواةً مبتكرة في أنبوب توليد البيانات، تُدمج بين التنوّع الإبداعي لمحرر صور رائد ومحرّر فيديو يعمل في سياق (in-context)، ما يتجاوز القيود المفروضة على النماذج الحالية. ولجعل هذه العملية قابلة للتطبيق، يحلّ إطارنا معضلة التنازل بين التكلفة والجودة من خلال استخدام معمارية نموذج مُبسَّط (distilled) فعّالة، مدعومة بمحوّل زمني (temporal enhancer)، الذي يقلّل في آنٍ واحد من التكاليف الحسابية ويعزّز الاتساق الزمني. وأخيرًا، لضمان التوسع الكامل، يُشغّل هذا الأنبوب كاملاً وكيل ذكي يُصيغ تعليمات متنوعة ويُطبّق عملية تصفية صارمة على المخرجات، مما يضمن التحكم في الجودة على نطاق واسع. وباستخدام هذا الإطار، استثمرنا أكثر من 12,000 يومًا من وحدات معالجة الرسومات (GPU) لبناء "ديتو-1م" (Ditto-1M)، وهو مجموعة بيانات جديدة تضم مليون مثال مُعدّل للفيديو بجودة عالية. وتم تدريب نموذجنا "إديتو" (Editto) على مجموعة "ديتو-1م" باستخدام استراتيجية تعلّم منهجي (curriculum learning). وأظهرت النتائج قدرة متميّزة على اتباع التعليمات، وحدّدت حالة جديدة من التقدّم المُحَدَّثة في مجال تحرير الفيديو القائم على التعليمات.