Command Palette
Search for a command to run...
تقرير تقني حول نموذج نص إلى فيديو من ModelScope
تقرير تقني حول نموذج نص إلى فيديو من ModelScope
Jiuniu Wang Hangjie Yuan Dayou Chen Yingya Zhang Xiang Wang Shiwei Zhang
الملخص
يقدم هذا البحث نموذج ModelScopeT2V، وهو نموذج لتحويل النص إلى فيديو يُطوّر من نموذج تحويل النص إلى صورة (مثل Stable Diffusion). ويُضمن ModelScopeT2V كتلًا فضائية زمنية (spatio-temporal blocks) لضمان توليد إطارات متسقة وانتقالات سلسة في الحركة. ويمكن للنموذج التكيّف مع أعداد مختلفة من الإطارات أثناء التدريب والاستدلال، مما يجعله مناسبًا لكلا نوعي المجموعات: بيانات الصور-النص والفيديوهات-النص. ويجمع ModelScopeT2V بين ثلاث مكونات رئيسية (أي VQGAN، ومشفر النص، وشبكة UNet لتصفية الضوضاء)، مكوّنة إجماليًا من 1.7 مليار معامل، من بينها 0.5 مليار معامل مخصصة لقدرات زمنية. ويُظهر النموذج أداءً متفوّقًا على الطرق المتطورة حاليًا عبر ثلاث مقاييس تقييم. ويُتاح الكود والعرض التوضيحي عبر الإنترنت على الرابط: \url{https://modelscope.cn/models/damo/text-to-video-synthesis/summary}.