HyperAIHyperAI

Command Palette

Search for a command to run...

Console
منذ 6 أيام

الصورة الحية: توليد صورة حية مُدفَّعة بالصوت في الوقت الفعلي مع طول لا نهائي

الصورة الحية: توليد صورة حية مُدفَّعة بالصوت في الوقت الفعلي مع طول لا نهائي

الملخص

تُعرّض الطرق الحالية القائمة على التشتت لإنشاء مقاطع الفيديو قيودًا جوهرية ناتجة عن الحساب المتسلسل وعدم التماسك على المدى الطويل، مما يحد من استخدامها العملي في توليد الصور الرمزية المُدارة بالصوت بشكل مباشر وعبر البث الحي. نقدم "Avatar الحي"، إطارًا مصممًا بشكل متكامل بين الخوارزمية والنظام، يتيح إنشاء صور رمزية عالية الدقة وطويلة غير محدودة بكفاءة باستخدام نموذج تشتت يضم 14 مليار معلمة. يقدّم نهجنا مبدأ التوازي عبر خط أنابيب التوقيت (TPP)، وهو نموذج تشغيل توزيعي يُنَظِّم خطوات إزالة الضوضاء عبر عدة وحدات معالجة رسومية (GPU)، مما يكسر بشكل فعّال عائق النموذج التسلسلي ويضمن بثًا مباشرًا مستقرًا وبتأخير منخفض. ولتحسين التماسك الزمني وتقليل الانحراف في الهوية والعيوب اللونية، نقترح آلية الإطار المرجعي الدوّار (RSFM)، التي تحافظ على وحدة التسلسل من خلال إعادة ضبط مظهر الصورة بشكل ديناميكي باستخدام صورة مرجعية محفوظة مسبقًا. علاوةً على ذلك، نستفيد من تقنية التقطيع التكيفي المبني على مطابقة التوزيع القابلي (Self-Forcing Distribution Matching Distillation) لتمكين التكيّف السببي والقابل للبث للنماذج الكبيرة دون التضحية بجودة الصورة. تُظهر "Avatar الحي" أداءً يُعدّ من أفضل الأداء في مجاله، حيث تصل إلى 20 إطارًا في الثانية لعملية التوليد الكاملة (end-to-end) على 5 وحدات H800، ونعتقد أنها أول من حقق إنشاء صور رمزية عملية وحية وعالية الدقة على هذا الحجم. يُعدّ هذا العمل نموذجًا جديدًا لتطبيق النماذج المتقدمة للتشتت في تطبيقات الصناعة لإنشاء مقاطع فيديو طويلة المدى.

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp