HyperAIHyperAI

Command Palette

Search for a command to run...

تحسين التوصيف الآلي للصوت من خلال نماذج اللغة الكبيرة مع ترميز صوتي مُحسَّن

Jizhong Liu Gang Li Junbo Zhang Heinrich Dinkel Yongqing Wang Zhiyong Yan Yujun Wang Bin Wang

الملخص

الكتابة التلقائية للصوت (AAC) هي مهمة تحويل الصوت إلى نص، تهدف إلى وصف محتوى الصوت بلغة طبيعية. في الآونة الأخيرة، ساهمت التطورات في النماذج اللغوية الكبيرة (LLMs)، إلى جانب تحسين أساليب التدريب الخاصة بمحولات الصوت، في إتاحة فرص لتحسين أداء AAC. لذلك، نستكشف تحسين AAC من ثلاث جوانب: 1) استخدام محول صوتي مُدرّب مسبقًا عبر تقنية التجميع المتسق للتخفيف (CED) لتحسين كفاءة الرموز الصوتية، مع استخدام نموذج تحويلي استقصائي (Q-Former) لتقليل الفجوة بين الوسائط وضغط الرموز الصوتية؛ 2) ندرس المزايا الناتجة عن استخدام نموذج Llama 2 ذي 7 مليار معلمة كمُفكّك (decoder)؛ 3) نستخدم نموذجًا لغويًا كبيرًا مُدرّبًا مسبقًا لتصحيح الأخطاء الناتجة عن نقص البيانات التدريبية والغموض في التسميات. كما يتم تحسين كل من محول الصوت والفكّار النصي باستخدام تقنية التكييف من الرتبة المنخفضة (LoRA). أظهرت التجارب أن كل من هذه التحسينات فعّالة. وحقق نهجنا نتيجة بدرجة SPIDEr-FL تبلغ 33.0، متفوّقًا على الفائز في المهمة 6A ضمن مسابقة DCASE 2023.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp