عرض توضيحي لإنشاء فيديو باستخدام FramePack بذاكرة فيديو منخفضة

1. مقدمة البرنامج التعليمي

FramePack هو إطار عمل مفتوح المصدر لتوليد الفيديو تم تطويره بواسطة فريق Zhang Lvmin مؤلف ControlNet في أبريل 2025. ومن خلال بنية الشبكة العصبية المبتكرة، فإنه يحل بشكل فعال مشاكل الاستخدام العالي لذاكرة الفيديو والانجراف والنسيان في توليد الفيديو التقليدي، ويقلل بشكل كبير من متطلبات الأجهزة. نتائج الورقة ذات الصلة هيتعبئة سياق إطار الإدخال في نماذج التنبؤ بالإطار التالي لتوليد الفيديو".

موارد الحوسبة المستخدمة في هذا البرنامج التعليمي هي RTX 4090.

أمثلة التأثير

متطلبات المشروع

• تدعم وحدات معالجة الرسومات Nvidia في سلسلة RTX 30XX و40XX و50XX تقنيتي fp16 وbf16. لم يتم اختبار GTX 10XX/20XX.
• نظام التشغيل Linux أو Windows.
• ذاكرة وحدة معالجة الرسوميات (GPU) بسعة 6 جيجابايت على الأقل.

لتوليد دقيقة واحدة من الفيديو (60 ثانية) بمعدل 30 إطارًا في الثانية (1800 إطار) باستخدام طراز 13B، فإن الحد الأدنى المطلوب لذاكرة وحدة معالجة الرسومات هو 6 جيجابايت.

فيما يتعلق بالسرعة، على سطح مكتب RTX 4090، فإنه ينتج 2.5 ثانية/إطار (غير محسّن) أو 1.5 ثانية/إطار (teacache). على جهاز كمبيوتر محمول، مثل جهاز كمبيوتر محمول 3070ti أو جهاز كمبيوتر محمول 3060، يكون الأمر أبطأ بحوالي 4 إلى 8 مرات.إذا كنت أبطأ بكثير من هذا، قم باستكشاف الأخطاء وإصلاحها..

أثناء عملية إنشاء الفيديو، يمكنك رؤية الإطار الناتج مباشرةً لأنه يستخدم التنبؤ بالإطار التالي (القسم). وبالتالي، تحصل على قدر كبير من التعليقات المرئية قبل إنشاء الفيديو بالكامل.

2. خطوات التشغيل

1. بعد بدء تشغيل الحاوية، انقر فوق عنوان API للدخول إلى واجهة الويب

إذا تم عرض "بوابة سيئة"، فهذا يعني أن النموذج قيد التهيئة. نظرًا لأن النموذج كبير الحجم، يرجى الانتظار لمدة 1-2 دقيقة وتحديث الصفحة.

2. العرض التوضيحي الوظيفي

بعد تحميل الصورة وإضافة الكلمات المطلوبة، انقر فوق "بدء التوليد" لإنشاء الفيديو.

معلومات الاستشهاد

شكرًا لمستخدم GitHub بويسوو  لإنتاج هذا البرنامج التعليمي، معلومات مرجعية للمشروع هي كما يلي:

@article{zhang2025framepack,
    title={Packing Input Frame Contexts in Next-Frame Prediction Models for Video Generation},
    author={Lvmin Zhang and Maneesh Agrawala},
    journal={Arxiv},
    year={2025}
}

التبادل والمناقشة

🖌️ إذا رأيت مشروعًا عالي الجودة، فيرجى ترك رسالة في الخلفية للتوصية به! بالإضافة إلى ذلك، قمنا أيضًا بتأسيس مجموعة لتبادل الدروس التعليمية. مرحبًا بالأصدقاء لمسح رمز الاستجابة السريعة وإضافة [برنامج تعليمي SD] للانضمام إلى المجموعة لمناقشة المشكلات الفنية المختلفة ومشاركة نتائج التطبيق↓