تانغوفلكس: إنشاء نص إلى صوت بسرعة فائقة وأمانة باستخدام مطابقة التدفق وتحسين التفضيل المرتب بالتصفيق

نقدم TangoFlux، وهو نموذج توليد فعّال لتحويل النص إلى الصوت (Text-to-Audio - TTA) يحتوي على 515 مليون معلمة، قادر على إنتاج ما يصل إلى 30 ثانية من صوت بتردد 44.1 كيلوهرتز في غضون 3.7 ثانية فقط باستخدام معالج رسومات واحد من نوع A40. أحد التحديات الرئيسية في مواءمة نماذج TTA يتمثل في صعوبة إنشاء أزواج التفضيل، حيث يفتقر TTA إلى الآليات المنظمة مثل المكافآت القابلة للتحقق أو الإجابات القياسية التي تكون متاحة لنماذج اللغات الكبيرة (Large Language Models - LLMs). لحل هذه المشكلة، نقترح CLAP-Ranked Preference Optimization (CRPO)، وهو إطار جديد يقوم بتوليد وتحسين بيانات التفضيل بشكل تكراري لتعزيز مواءمة TTA. نثبت أن مجموعة البيانات الصوتية للتفضيل التي تم إنتاجها باستخدام CRPO تتفوق على البدائل الموجودة حاليًا. وبفضل هذا الإطار، حقق TangoFlux أفضل الأداء في جميع المقاييس الموضوعية والذاتية. نقوم بإطلاق المصدر المفتوح لكافة الكود والنماذج لدعم المزيد من البحث في مجال توليد تحويل النص إلى الصوت (TTA).