HyperAIHyperAI

Command Palette

Search for a command to run...

التيار الذي يعزف الموسيقى

Zhengcong Fei Mingyuan Fan Changqian Yu Junshi Huang

الملخص

يقوم هذا البحث بدراسة توسيع بسيط لتدفق التصحيح المستند إلى الانتشار (diffusion-based rectified flow) في نماذج الترانسفورمر (Transformers) لإنشاء الموسيقى من النص، والتي تم تسميتها بـ FluxMusic. بشكل عام، وبالتعاون مع تصميم نموذج Flux المتطور (https://github.com/black-forest-labs/flux)، نقوم بنقله إلى فضاء VAE الكامن للمطياف الصوتي (mel-spectrum). يتضمن ذلك أولاً تطبيق سلسلة من انتباهات مستقلة على مجرى النص والموسيقى المزدوج، ثم استخدام سلسلة موسيقية مكدسة للتنبؤ بالشظايا المعالجة من الضوضاء (denoised patch prediction). نستخدم عدة مُشفِّرات نص مسبقة التدريب للاستيلاء بشكل كافٍ على المعلومات الدلالية للتعليق بالإضافة إلى مرونة الاستدلال. بين هذه الخطوات، يتم استخدام المعلومات النصية الخشنة مع تضمينات خطوة الزمن في آلية تعديل، بينما يتم ربط التفاصيل النصية الدقيقة بالسلاسل الموسيقية كمدخلات. من خلال دراسة عميقة، أظهرنا أن تدريب التدفق المصحح مع هندسة معمارية محسَّنة يتفوق بشكل كبير على الأساليب التقليدية للانتشار في مهمة إنشاء الموسيقى من النص، كما يدل على ذلك مجموعة من المقاييس الآلية وتقييمات التفضيل البشري. لقد جعلنا بيانات الاختبار الخاصة بنا والكود وأوزان النموذج متاحة للجمهور عبر الرابط التالي: https://github.com/feizc/FluxMusic.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
التيار الذي يعزف الموسيقى | مستندات | HyperAI