HyperAIHyperAI

Command Palette

Search for a command to run...

تانغوفلكس: إنشاء نص إلى صوت بسرعة فائقة وأمانة باستخدام مطابقة التدفق وتحسين التفضيل المرتب بالتصفيق

Chia-Yu Hung Navonil Majumder Zhifeng Kong Ambuj Mehrish Rafael Valle Bryan Catanzaro Soujanya Poria

الملخص

نقدم TangoFlux، وهو نموذج توليد فعّال لتحويل النص إلى الصوت (Text-to-Audio - TTA) يحتوي على 515 مليون معلمة، قادر على إنتاج ما يصل إلى 30 ثانية من صوت بتردد 44.1 كيلوهرتز في غضون 3.7 ثانية فقط باستخدام معالج رسومات واحد من نوع A40. أحد التحديات الرئيسية في مواءمة نماذج TTA يتمثل في صعوبة إنشاء أزواج التفضيل، حيث يفتقر TTA إلى الآليات المنظمة مثل المكافآت القابلة للتحقق أو الإجابات القياسية التي تكون متاحة لنماذج اللغات الكبيرة (Large Language Models - LLMs). لحل هذه المشكلة، نقترح CLAP-Ranked Preference Optimization (CRPO)، وهو إطار جديد يقوم بتوليد وتحسين بيانات التفضيل بشكل تكراري لتعزيز مواءمة TTA. نثبت أن مجموعة البيانات الصوتية للتفضيل التي تم إنتاجها باستخدام CRPO تتفوق على البدائل الموجودة حاليًا. وبفضل هذا الإطار، حقق TangoFlux أفضل الأداء في جميع المقاييس الموضوعية والذاتية. نقوم بإطلاق المصدر المفتوح لكافة الكود والنماذج لدعم المزيد من البحث في مجال توليد تحويل النص إلى الصوت (TTA).


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp