HyperAIHyperAI

Command Palette

Search for a command to run...

تحسين نماذج النص إلى الصوت باستخدام التسميات الاصطناعية

Zhifeng Kong Sang-gil Lee Deepanway Ghosal Navonil Majumder Ambuj Mehrish Rafael Valle Soujanya Poria Bryan Catanzaro

الملخص

يعد الحصول على بيانات تدريبية عالية الجودة، خاصة التسميات التوضيحية (الكيبشنات)، لنموذج النص إلى الصوت تحديًا مفتوحًا. رغم أن الطرق السابقة استخدمت نماذج اللغة النصية فقط (\textit{text-only language models}) لزيادة وتحسين التسميات التوضيحية، فإن هذه الطرق تعاني من قيود تتعلق بالحجم والتماسك بين الصوت والتسميات التوضيحية. في هذا البحث، نقترح خط أنابيب لتسمية الصوت يستخدم نموذج لغة الصوت (\textit{audio language model}) لإنشاء تسميات توضيحية دقيقة ومتنوعة للصوت على نطاق واسع. نستفيد من هذا الخط الأنابيب لإنتاج مجموعة بيانات تتضمن تسميات توضيحية اصطناعية لمجموعة AudioSet، والتي أطلقنا عليها اسم \texttt{AF-AudioSet}، ثم نقيم فائدة التدريب المسبق لنماذج النص إلى الصوت باستخدام هذه التسميات التوضيحية الاصطناعية. من خلال تقييمات منهجية على AudioCaps و MusicCaps، نجد أن استخدام خط الأنابيب الخاص بنا والتسميات التوضيحية الاصطناعية يؤدي إلى تحسينات كبيرة في جودة إنشاء الصوت، مما يحقق أحدث \textit{state-of-the-art}.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
تحسين نماذج النص إلى الصوت باستخدام التسميات الاصطناعية | مستندات | HyperAI